日本大乳奶做爰_污网站免费在线观看_在线免费观看成人_国产人妻人伦精品1国产_欧美午夜视频_成人在线一区二区_涩里番在线观看_色综合综合色_99精品电影_男人亚洲天堂_日韩a级片_免费黄色在线看_成年人久久_国产成人综合在线_久色国产

歡迎來訪江蘇帕卓管路系統(tǒng)股份有限公司 官方網(wǎng)站!

您的位置 : 首頁>>解決方案
解決方案

AI大模型下的液冷發(fā)展趨勢(shì)

帕卓管路 2024-04-02 09:54:13 1982次 返回

剛剛過去的周末,光伏、儲(chǔ)能行業(yè)迎來重磅利好消息:摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià),在黃仁勛、奧特曼兩位大佬加持下“儲(chǔ)能與AI”的故事發(fā)酵。

640.webp.jpg

圖片來源網(wǎng)絡(luò)

摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià)

3月10日,摩根士丹利發(fā)布報(bào)告,將中國電池巨頭寧德時(shí)代(CATL)的評(píng)級(jí)上調(diào)至“超配”,并設(shè)定目標(biāo)價(jià)為210元人民幣。在報(bào)告中,摩根士丹利分析師指出,寧德時(shí)代作為全球領(lǐng)先的電池制造商,受益于電動(dòng)汽車市場(chǎng)的快速增長(zhǎng)和電池需求的攀升。

摩根士丹利發(fā)布報(bào)告指出,隨著價(jià)格戰(zhàn)接近尾聲,寧德時(shí)代準(zhǔn)備通過新一代大規(guī)模生產(chǎn)線提高成本效率,并擴(kuò)大在凈資產(chǎn)收益率方面的優(yōu)勢(shì),看到寧德時(shí)代在基本面上的多個(gè)拐點(diǎn),上調(diào)公司評(píng)級(jí)至超配,并選為行業(yè)首選。

另外,據(jù)央視網(wǎng)10日?qǐng)?bào)道,寧德時(shí)代董事長(zhǎng)曾毓群在采訪時(shí)談到了近期多家歐美車企削減或推遲電動(dòng)化的話題,“歐美車企沒有回歸燃油車,也沒有停止(電動(dòng)汽車),可能是因?yàn)椴毁嶅X,所以往后延遲一陣。”

從儲(chǔ)能業(yè)務(wù)來看,寧德時(shí)代是當(dāng)之無愧的王者。國海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長(zhǎng)31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長(zhǎng)14%以上,環(huán)比增長(zhǎng)10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤(rùn)貢獻(xiàn)在90%,則測(cè)算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。

黃仁勛、奧特曼:AI的盡頭是光伏和儲(chǔ)能

消息面上,在算力爆炒之后,“儲(chǔ)能+AI”的故事在剛剛過去的這個(gè)周末發(fā)酵了。據(jù)報(bào)道,英偉達(dá)CEO黃仁勛在一次公開演講中指出,AI未來發(fā)展與狀和儲(chǔ)能緊密相連。黃仁勛在演講中明確表示:“AI的盡頭是光伏和儲(chǔ)能!我們不能只想著算力,如果只考慮計(jì)算機(jī),我們需要燒掉14個(gè)地球的能源。”

早在2月27日,就有人在社交視頻上講“儲(chǔ)能與AI”的故事,引用的也是所謂“黃仁勛的演講”。與此同時(shí),OpenAI的創(chuàng)始人山姆·奧特曼也提出了類似的看法。奧特曼表示,“未來AI的技術(shù)取決于能源,我們需要更多的光伏和儲(chǔ)能。”

ChatGPT日耗電超50萬度

人工智能技術(shù)的快速發(fā)展,帶來了巨大的算力和能源消耗。據(jù)《紐約客》雜志報(bào)道,ChatGPT日耗電超50萬度,相當(dāng)于1.7萬個(gè)美國家庭,以響應(yīng)用戶的約2億個(gè)請(qǐng)求。

*近,在博世互聯(lián)2024大會(huì)上,馬斯克遠(yuǎn)程連線接受了博世CEO和董事長(zhǎng)的采訪。馬斯克提到人工智能的發(fā)展速度前所未見,似乎每過6個(gè)月的時(shí)間,算力就會(huì)增加10倍,遠(yuǎn)遠(yuǎn)超出了摩爾定律每18個(gè)月翻番的速度。他預(yù)計(jì),兩年內(nèi)年將由“缺硅”變?yōu)椤叭彪姟保@可能阻礙AI的發(fā)展。

“目前算力增長(zhǎng)已經(jīng)面臨瓶頸,很明顯,接下來變壓器會(huì)陷入短缺,緊接著就是電力,等到2025年,我們將沒有足夠的電力來運(yùn)行所有的芯片。”馬斯克稱。

事實(shí)上,馬斯克對(duì)電力短缺的擔(dān)憂也不是一天兩天了,此前曾多次公開強(qiáng)調(diào)解決日益增長(zhǎng)的電力需求的緊迫性。他認(rèn)為,需要加快項(xiàng)目進(jìn)度,以跟上不斷增長(zhǎng)的電力需求。

我國臺(tái)灣地區(qū)4月電價(jià)調(diào)漲箭在弦上,“電價(jià)工作小組”3月12日起將連開4場(chǎng)討論會(huì)。其中民生用電擬分三級(jí)距調(diào)漲,*小漲幅700度(或500度)以下約漲5%,701~1000度約漲7%,1001度以上漲約10%;產(chǎn)業(yè)用電依產(chǎn)業(yè)別分三級(jí)距調(diào)漲,但連二年用電成長(zhǎng)、用電50億度以上“超級(jí)大戶”以公司別來看,調(diào)幅*高上看近3成,臺(tái)積電首當(dāng)其沖;但用電衰退面板、石化、鋼鐵,漲幅較小。4月電價(jià)方案平均漲幅在10~15%。

波士頓咨詢公司就曾分析稱,預(yù)計(jì)2030年左右,美國數(shù)據(jù)中心的電力消耗將較2022年增長(zhǎng)三倍,相當(dāng)于電力總需求的7.5%,會(huì)大幅提升社會(huì)用電量。

咨詢公司Grid Strategies也曾發(fā)布過一項(xiàng)研究,認(rèn)為美國未來五年的年度電力需求增長(zhǎng)大約在1.5%左右。而根據(jù)EIA的數(shù)據(jù),美國發(fā)電量近15年來才增加了不到3%。過慣了供需相對(duì)穩(wěn)定日子的美國供電體系,和面臨不少問題的電網(wǎng),能否應(yīng)對(duì)驟然增長(zhǎng)的需求,尚有待觀察。

從儲(chǔ)能業(yè)務(wù)來看,寧德時(shí)代是當(dāng)之無愧的王者。國海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長(zhǎng)31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長(zhǎng)14%以上,環(huán)比增長(zhǎng)10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤(rùn)貢獻(xiàn)在90%,則測(cè)算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。



AI大模型下的液冷發(fā)展趨勢(shì)

摘要

液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù),能夠顯著提高數(shù)據(jù)中心散熱效率。液冷技術(shù)根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷,其中間接液冷主要包括冷板式液冷,直接液冷包括浸沒式液冷和噴淋式液冷。冷板式液冷和浸沒式液冷是目前主流的液冷形式,冷板式液冷應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢(shì);浸沒式液冷冷卻效果*好,節(jié)能性上優(yōu)勢(shì)明顯,但可維護(hù)性和兼容性一般,多用于高功率密度機(jī)柜。

控制當(dāng)前數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷方案中冷板式技術(shù)更為普及。2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場(chǎng)份額。按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例為90%左右,浸沒式液冷滲透率為10%。

數(shù)據(jù)中心算力與能耗水漲船高,逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢(shì)所向。Chatgpt為代表的生成式人工智能模型拉升算力需求,百億參數(shù)成為模型涌現(xiàn)門檻,算力成為大模型性能提升的關(guān)鍵。大模型帶來大算力,大算力帶來高功耗,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片TDP更是達(dá)到700W。這也導(dǎo)致單服務(wù)器和單機(jī)柜功率均顯著上升,已經(jīng)逐漸超出風(fēng)冷散熱的覆蓋范圍,液冷散熱已成為必然趨勢(shì)。

PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力。PUE代表數(shù)據(jù)中心能源使用效率,等于數(shù)據(jù)中心總耗電/IT設(shè)備耗電,比值越接近于1,說明能源越接近全部都用于IT設(shè)備負(fù)載上。我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。近幾年,國家與地方出臺(tái)了一系列針對(duì)新建與老舊數(shù)據(jù)中心PUE的管控計(jì)劃,明確要求東、西部樞紐節(jié)點(diǎn)數(shù)據(jù)中心PUE分別控制在1.25、1.2以下。而傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般在1.5左右,高于政策要求的范圍;液冷方案能夠有效降低冷卻系統(tǒng)的能耗水平,從而將數(shù)據(jù)中心整體PUE降低到1.05-1.2左右,滿足相關(guān)的政策要求。

數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素。數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營成本(Opex)。根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)發(fā)布的報(bào)告進(jìn)行測(cè)算,以華東地區(qū)數(shù)據(jù)中心建設(shè)情況為例,現(xiàn)階段冷板式液冷方案的TCO甚至Capex已經(jīng)低于風(fēng)冷,浸沒式液冷方案的TCO也將在運(yùn)行五年左右之后出現(xiàn)低于風(fēng)冷方案的拐點(diǎn)。但是該測(cè)算結(jié)果依賴于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營支出、水電費(fèi)與房租等運(yùn)營成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對(duì)制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場(chǎng)景下液冷技術(shù)的經(jīng)濟(jì)性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢(shì)下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長(zhǎng)服務(wù)器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢(shì)將更加明顯。

控制數(shù)據(jù)中心液冷未來市場(chǎng)規(guī)模估算:到2025年,中國數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。

1液冷技術(shù)詳解

液冷是一種用液體來冷卻電子設(shè)備的散熱技術(shù)。液冷的工作原理是以液體作為冷媒,利用液體的高熱容和高熱傳導(dǎo)性能,通過液體流動(dòng)將IT設(shè)備的內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外,使IT設(shè)備的發(fā)熱器件得到冷卻,以保證IT設(shè)備在安全溫度范圍內(nèi)運(yùn)行(本文主要討論數(shù)據(jù)中心應(yīng)用場(chǎng)景下的液冷技術(shù))。根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷。間接液冷是指服務(wù)器熱源與冷卻液之間沒有直接接觸的換熱過程,以冷板式液冷技術(shù)為主。直接液冷是指將發(fā)熱部件與冷卻液直接接觸的冷卻方式,包括浸沒式和噴淋式液冷技術(shù)。其中又可以根據(jù)冷卻液是否會(huì)發(fā)生液態(tài)到氣態(tài)的轉(zhuǎn)變,將浸沒式液冷分為單相浸沒式液冷和雙相浸沒式液冷。當(dāng)前,冷板式液冷和浸沒式液冷為液冷的主要形式。

640.webp (1).jpg

液冷系統(tǒng)通用架構(gòu)包括室外側(cè)和室內(nèi)側(cè)兩部分:室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、液冷機(jī)柜、ICT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。室外側(cè)為外部冷源,通常為室外的冷水機(jī)組、冷卻塔或干冷器,熱量轉(zhuǎn)移主要通過水溫的升降實(shí)現(xiàn);室內(nèi)側(cè)包括供液環(huán)路和服務(wù)器內(nèi)部流道,主要通過冷卻液溫度的升降實(shí)現(xiàn)熱量轉(zhuǎn)移;兩個(gè)部分通過CDU中的板式換熱器發(fā)生間壁式換熱。

640.webp (2).jpg

1.1 冷板式液冷

冷板式液冷屬于間接液冷,冷卻液不與服務(wù)器芯片直接接觸。冷板式液冷也被稱作芯片級(jí)液冷,技術(shù)原理是通過在服務(wù)器組件(如 CPU、GPU等高發(fā)熱部件)上安裝液冷板(通常為銅鋁等導(dǎo)熱金屬構(gòu)成的封閉腔體),服務(wù)器組件通過導(dǎo)熱部件將熱量傳導(dǎo)到液冷板上,然后利用液冷板內(nèi)部的液體循環(huán)將熱量傳遞到遠(yuǎn)離服務(wù)器的散熱單元;同時(shí)一般會(huì)增設(shè)風(fēng)冷單元為低發(fā)熱元件進(jìn)行散熱。

冷板式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)、液冷機(jī)柜組成;其中液冷機(jī)柜內(nèi)包含液冷板、設(shè)備內(nèi)液冷管路、流體連接器、分液器等。

640.webp (3).jpg

1.2 浸沒式液冷

浸沒式液冷屬于直接液冷,將發(fā)熱器件浸沒在冷卻液中進(jìn)行熱交換,依靠冷卻液流動(dòng)循環(huán)帶走熱量。

浸沒式液冷系統(tǒng)室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、浸沒腔體、IT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。使用過程中 IT設(shè)備完全浸沒在二次側(cè)冷卻液中,因此二次側(cè)循環(huán)冷卻液需要采用不導(dǎo)電液體,如礦物油、硅油、氟化液等。

浸沒式液冷根據(jù)冷卻液換熱過程中是否發(fā)生相變,可以進(jìn)一步分為單相浸沒式液冷和雙相浸沒式液冷技術(shù)。

1.2.1 單相浸沒式液冷

在單相浸沒式液冷中,冷卻液在熱量傳遞過程中僅發(fā)生溫度變化,而不存在相態(tài)轉(zhuǎn)變。單相浸沒式液冷的技術(shù)原理為:CDU循環(huán)泵驅(qū)動(dòng)二次側(cè)低溫冷卻液由浸沒腔體底部進(jìn)入,流經(jīng)豎插在浸沒腔體中的IT設(shè)備時(shí)帶走發(fā)熱器件熱量;吸收熱量升溫后的二次側(cè)冷卻液由浸沒腔體頂部出口流回CDU;通過CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側(cè)冷卻液;吸熱升溫后的一次側(cè)冷卻液通過外部冷卻裝置(如冷卻塔)將熱量排放到大氣環(huán)境中,完成整個(gè)冷卻過程。

640.webp (4).jpg

1.2.2 雙相浸沒式液冷

雙相浸沒式液冷的不同之處在于冷卻液會(huì)發(fā)生相態(tài)轉(zhuǎn)變。雙相浸沒式液冷的傳熱路徑與單相浸沒液冷基本一致,主要差異在于二次側(cè)冷卻液僅在浸沒腔體內(nèi)部循環(huán)區(qū)域,浸沒腔體內(nèi)頂部為氣態(tài)區(qū)、底部為液態(tài)區(qū);IT設(shè)備完全浸沒在低沸點(diǎn)的液態(tài)冷卻液中,液態(tài)冷卻液吸收設(shè)備熱量后發(fā)生沸騰,汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小,會(huì)逐漸匯聚到浸沒腔體頂部,與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻液,隨后在重力作用下回流至腔體底部,實(shí)現(xiàn)對(duì)IT設(shè)備的散熱。

640.webp (5).jpg

1.3  淋式液冷

噴淋式液冷屬于直接液冷,將冷卻液精準(zhǔn)噴灑于電子設(shè)備器件進(jìn)行散熱。冷卻液借助特制的噴淋板精準(zhǔn)噴灑至發(fā)熱器件或與之相連接的固體導(dǎo)熱材料上,并與之進(jìn)行熱交換,吸熱后的冷卻液換熱后將通過回液管、回液箱等集液裝置進(jìn)行收集并通過循環(huán)泵輸送至CDU進(jìn)行下一次制冷循環(huán)。

噴淋式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)和噴淋式液冷機(jī)柜組成;其中噴淋式液冷機(jī)柜通常包含管路系統(tǒng)、布液系統(tǒng)、噴淋模塊、回液系統(tǒng)等。

640.webp (6).jpg

1.4 不同液冷方案的比較

640.webp (7).jpg

1.4.1 冷板式液冷目前應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢(shì)

冷板式液冷的優(yōu)勢(shì)主要在于:

1)兼容性:冷板式液冷的改造成本相對(duì)較低,不需要對(duì)數(shù)據(jù)中心現(xiàn)有的機(jī)房及機(jī)柜進(jìn)行大規(guī)模改造,其適用的硬盤、光模塊等服務(wù)器部件與風(fēng)冷方案一致,運(yùn)維模式、機(jī)房承重與風(fēng)冷場(chǎng)景也基本一致;

2)散熱效果與節(jié)能性:冷卻效果和節(jié)能性要遠(yuǎn)好于風(fēng)冷,PUE可以達(dá)到1.2左右;(據(jù)《綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)研究現(xiàn)狀及發(fā)展趨勢(shì)》數(shù)據(jù)顯示,風(fēng)冷散熱下數(shù)據(jù)中心的 PUE 值通常在1.5左右)

3)可靠性:液體與設(shè)備不直接接觸,可靠性更高;

4)維護(hù)性:易開展維護(hù)性設(shè)計(jì),可實(shí)現(xiàn)在線維護(hù)方案;

5)噪聲:風(fēng)機(jī)轉(zhuǎn)速大幅降低,噪聲值可至 70dB 左右。

冷板式液冷的局限性主要在于:

1)液體沒有與電子器件直接接觸,而是通過金屬管壁進(jìn)行熱交換,與直接接觸的浸沒式液冷相比冷卻與節(jié)能效果欠佳;

2)IT設(shè)備、冷卻液、管路、供配電等不統(tǒng)一,服務(wù)器多與機(jī)柜深耦合;

3)管路接頭、密封件較多,漏液維護(hù)復(fù)雜。

1.4.2  浸沒式液冷的散熱效果和節(jié)能性優(yōu)勢(shì)明顯,但兼容性和維護(hù)性一般,多用于高功率密度機(jī)柜

浸沒式液冷的優(yōu)勢(shì)主要在于:

1)散熱效果與節(jié)能性:與冷板式液冷相比,浸沒式液冷中采用了直接接觸式的熱交換,傳熱系數(shù)高,冷卻效果更好,節(jié)能性更強(qiáng)(雙相浸沒式液冷方案的PUE在1.04-1.07左右,單相浸沒式為1.09左右)

2)緊湊:支持高密機(jī)柜,單柜散熱量高達(dá)160kW;同時(shí),機(jī)柜間無需隔開距離,機(jī)房不需要空調(diào)和冷凍機(jī)組、無需架空地板、無需安裝冷熱通道封閉設(shè)施;

3)可靠性:設(shè)備完全浸沒在液體中,排除了溫度、風(fēng)機(jī)振動(dòng)、灰塵等帶來的可靠性問題;

4)噪聲:100%液體冷卻,無需配置風(fēng)扇,實(shí)現(xiàn)**“靜音”機(jī)房。

浸沒式液冷的局限性主要在于:

1)兼容性較差:IT設(shè)備需要定制,光模塊、硬盤等部件兼容性仍待驗(yàn)證;此外,雙相浸沒式液冷方案適配的服務(wù)器需改為刀片式,其專用機(jī)柜對(duì)于管路要求高,控制復(fù)雜;

2)維護(hù)復(fù)雜:浸沒式液冷設(shè)備維護(hù)時(shí)需要打開Tank上蓋,并配備可移動(dòng)機(jī)械吊臂或?qū)I(yè)維護(hù)車實(shí)現(xiàn)設(shè)備的豎直插拔,維護(hù)復(fù)雜度高,耗時(shí)長(zhǎng);且開蓋維護(hù)過程有一定的冷卻液揮發(fā)問題,增加運(yùn)行成本;

3)承重要求高:因浸沒式液冷系統(tǒng)Tank內(nèi)充滿冷卻液,整柜重量大幅增加,對(duì)機(jī)房有特殊承重要求,普遍要求浸沒式液冷機(jī)房地板承重應(yīng)大于1500kg/m2;

4)國產(chǎn)冷媒待驗(yàn)證:?jiǎn)蜗嘟]式液冷方案所使用的國產(chǎn)冷媒仍待驗(yàn)證。

浸沒式液冷比較適用于對(duì)功率密度、節(jié)能性要求較高的大型數(shù)據(jù)中心,特別是地理位置較為特殊、空間有限的數(shù)據(jù)中心。

1.4.3 噴淋式液冷在安裝便利性、空間利用等方面有優(yōu)勢(shì),但是現(xiàn)階段落地應(yīng)用相對(duì)較少

噴淋式液冷不需要對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施進(jìn)行大幅改動(dòng),安裝便捷,空間利用率高,且噴淋方式能夠節(jié)省冷卻液,其不足在于服務(wù)器整體密封于氣相柜中,排液、補(bǔ)液,維護(hù)時(shí)會(huì)破壞服務(wù)器原有密封結(jié)構(gòu)。目前噴淋式液冷技術(shù)的應(yīng)用場(chǎng)景有限,只有少量數(shù)據(jù)中心采用了噴淋式液冷技術(shù)。

2 數(shù)據(jù)中心液冷行業(yè)基本情況與競(jìng)爭(zhēng)格局

2.1 基本情況:數(shù)據(jù)中心液冷行業(yè)如日方升,液冷技術(shù)有望加速導(dǎo)入

數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷技術(shù)有望加速導(dǎo)入。目前數(shù)據(jù)中心的散熱方式仍然以風(fēng)冷為主,在算力設(shè)備以及數(shù)據(jù)中心機(jī)房的高熱密度趨勢(shì)和高能效散熱要求的雙重推動(dòng)下,預(yù)計(jì)未來液冷將成為主流的數(shù)據(jù)中心溫控方式。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場(chǎng)份額;預(yù)計(jì)2025-2028年時(shí)液冷技術(shù)的滲透率有望達(dá)到30%。

液冷方式以冷板式為主,浸沒式技術(shù)有望加速推廣。當(dāng)前主流的液冷技術(shù)包括冷板式液冷和浸沒式液冷,由于冷板式液冷對(duì)于數(shù)據(jù)中心的改造難度較低,改造所需成本也較為可控,所以目前冷板式液冷的市場(chǎng)應(yīng)用相對(duì)更加普及。根據(jù)IDC《中國半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例達(dá)到90%左右,浸沒式液冷滲透率僅為10%。但隨著國家對(duì)于數(shù)據(jù)中心PUE的政策要求的愈發(fā)嚴(yán)格,機(jī)柜功率密度的持續(xù)抬升以及浸沒式液冷技術(shù)的逐漸成熟,浸沒式液冷方案有望進(jìn)入加速推廣期。

2.2 產(chǎn)業(yè)鏈:涉及環(huán)節(jié)眾多,存在較高進(jìn)入壁壘

液冷產(chǎn)業(yè)鏈涉及環(huán)節(jié)眾多,包括上游的液冷設(shè)備及產(chǎn)品零部件提供商、中游的液冷服務(wù)器及液冷基礎(chǔ)設(shè)施提供商與下游的數(shù)據(jù)中心使用者。上游主要為產(chǎn)品零部件及液冷設(shè)備,包括快速接頭、CDU、電磁閥、浸沒液冷TANK、manifold、冷卻液等產(chǎn)品,代表性廠商有英維克、3M、高瀾股份、云酷、奕信通、廣東合一、綠色云圖、巨化股份等。中游主要為液冷服務(wù)器、芯片廠商以及液冷集成設(shè)施、模塊與機(jī)柜等,代表性廠商有華為、中興、浪潮、曙光、新華三、聯(lián)想、超聚變、英特爾等。下游主要為數(shù)據(jù)中心的使用者,包括三家電信運(yùn)營商,百度、阿里巴巴、騰訊、京東等互聯(lián)網(wǎng)企業(yè),數(shù)據(jù)港、光環(huán)新網(wǎng)等第三方IDC服務(wù)商以及政府、科研機(jī)構(gòu)、金融、能源、交通等其他信息化需求客戶。

640.webp (8).jpg

產(chǎn)業(yè)鏈存在較高的技術(shù)、人才、客戶認(rèn)證壁壘。

1)技術(shù)壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品的研發(fā)和制造涉及冷卻技術(shù)、制冷系統(tǒng)設(shè)計(jì)及仿真技術(shù)、溫濕度解耦控制算法等多項(xiàng)技術(shù)領(lǐng)域,要求企業(yè)在液冷核心技術(shù)進(jìn)行多年研究積累,深入掌握液冷技術(shù)的相關(guān)原理和應(yīng)用。此外,液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品工藝流程復(fù)雜,需要掌握生產(chǎn)制造流程中的核心工藝,同時(shí)需具備成熟的控制體系,對(duì)產(chǎn)品質(zhì)量進(jìn)行把控,保證產(chǎn)品的合格率,因此數(shù)據(jù)中心液冷行業(yè)具有較高的技術(shù)壁壘。

2)人才壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施領(lǐng)域?qū)儆谛屡d技術(shù)密集型產(chǎn)業(yè),產(chǎn)品性能涉及材料化學(xué)、熱力學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)等多學(xué)科,并且數(shù)據(jù)中心的制冷系統(tǒng)存在定制化特征,因此對(duì)研發(fā)技術(shù)人員的技術(shù)研發(fā)能力和行業(yè)經(jīng)驗(yàn)要求較高。目前行業(yè)發(fā)展歷程較短,技術(shù)與產(chǎn)品仍處于驗(yàn)證階段,高端技術(shù)人才相對(duì)稀缺,且高端人才主要集中規(guī)模較大的企業(yè)以及***研究機(jī)構(gòu)中,因此新進(jìn)企業(yè)難以在短期內(nèi)培養(yǎng)出一批具備技術(shù)開發(fā)實(shí)力并擁有豐富實(shí)踐項(xiàng)目經(jīng)驗(yàn)的專業(yè)技術(shù)隊(duì)伍,由此數(shù)據(jù)中心液冷行業(yè)存在較高的專業(yè)人才壁壘。

3)客戶認(rèn)證壁壘:出于安全性、穩(wěn)定性等考慮,企業(yè)客戶在選擇液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商時(shí)通常需要進(jìn)行嚴(yán)格的資質(zhì)驗(yàn)證。尤其是金融、醫(yī)藥等機(jī)構(gòu)出于數(shù)據(jù)安全、保密等要求,對(duì)液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案供應(yīng)商挑選非常嚴(yán)格,需要對(duì)企業(yè)產(chǎn)品質(zhì)量水平、項(xiàng)目經(jīng)驗(yàn)、技術(shù)研發(fā)能力進(jìn)行綜合考察,因此認(rèn)證過程復(fù)雜且耗時(shí)較長(zhǎng)。液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施廠商應(yīng)具備較強(qiáng)的產(chǎn)品研發(fā)能力、穩(wěn)定的產(chǎn)品供應(yīng)以及售后服務(wù)經(jīng)驗(yàn),同時(shí)具備豐富的技術(shù)儲(chǔ)備,才能滿足不同客戶的需求。另一方面,由于更換液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商會(huì)對(duì)產(chǎn)品的穩(wěn)定性形成風(fēng)險(xiǎn),客戶在與液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商建立生產(chǎn)配套關(guān)系后,傾向于維持與現(xiàn)有技術(shù)供應(yīng)商的合作,不會(huì)輕易更換主要供應(yīng)商,因此先進(jìn)入者一旦建立起自身客戶資源、形成先發(fā)優(yōu)勢(shì),新進(jìn)入企業(yè)將很難在短期內(nèi)爭(zhēng)奪市場(chǎng)份額、改變行業(yè)現(xiàn)有格局,因此數(shù)據(jù)中心液冷行業(yè)具有較高的客戶認(rèn)證門檻。

2.3 競(jìng)爭(zhēng)格局:行業(yè)仍處于技術(shù)驗(yàn)證階段,市場(chǎng)格局尚不明確

目前液冷行業(yè)仍處于技術(shù)驗(yàn)證階段,技術(shù)路線、產(chǎn)品結(jié)構(gòu)、行業(yè)標(biāo)準(zhǔn)等還無定數(shù),國外廠商難以進(jìn)入中國市場(chǎng),市場(chǎng)競(jìng)爭(zhēng)格局尚不明確。目前市場(chǎng)中主要廠商在液冷技術(shù)和產(chǎn)品方面還處于實(shí)驗(yàn)研究或初步應(yīng)用階段,產(chǎn)品結(jié)構(gòu)與行業(yè)標(biāo)準(zhǔn)尚在演進(jìn),市場(chǎng)內(nèi)還未形成具備較強(qiáng)核心競(jìng)爭(zhēng)力的龍頭廠商,市場(chǎng)競(jìng)爭(zhēng)格局尚未穩(wěn)定。此外,由于中國對(duì)數(shù)據(jù)安全的保護(hù),在數(shù)據(jù)中心基礎(chǔ)設(shè)施的供應(yīng)方面存在一定的地域壁壘,因此,目前國外廠商的產(chǎn)品的應(yīng)用主要以其本國市場(chǎng)為主,進(jìn)入中國市場(chǎng)較為困難。

3 數(shù)據(jù)中心液冷行業(yè)未來看點(diǎn)

3.1 推理/訓(xùn)練服務(wù)器功耗有望達(dá)到10/2kW,液冷方案成為首選

生成式人工智能橫空出世,助推AI算力景氣度。受ChatGPT為代表的生成式人工智能大模型等新業(yè)態(tài)帶動(dòng),全新的AI應(yīng)用場(chǎng)景有望在未來3-5年爆發(fā),百億參數(shù)是大模型具備涌現(xiàn)能力的門檻,千億參數(shù)的大模型將具備較好的涌現(xiàn)能力,AI算力成為大模型能力提升的核心驅(qū)動(dòng)力。現(xiàn)階段ChatGPT的總算力消耗達(dá)到了3640PF-day(每秒計(jì)算一千萬億次,需要計(jì)算3640天),需要7-8個(gè)投資規(guī)模30億元,算力500P的超大數(shù)據(jù)中心才能支撐其訓(xùn)練過程,AI算力的重要性不言而喻。據(jù)IDC預(yù)測(cè),全球AI算力市場(chǎng)規(guī)模將從2022年的195.0億美元增長(zhǎng)到2026年的346.6億美元,其中生成式AI算力市場(chǎng)規(guī)模將從2022年的8.2億美元增長(zhǎng)到2026年的109.9億美元,生成式AI算力占整體AI算力市場(chǎng)規(guī)模的比例將從4.2%增長(zhǎng)到31.7%。

640.webp (9).jpg

大模型帶來高算力,高算力帶來高功耗。隨著AI計(jì)算、HPC計(jì)算等高性能計(jì)算需求不斷提升,CPU、GPU等計(jì)算芯片朝高算力、高集成方向演進(jìn),同時(shí)也導(dǎo)致單顆計(jì)算芯片功耗的大幅提升。對(duì)于CPU、GPU、ASIC等計(jì)算芯片而言,一方面可以通過增加計(jì)算核心數(shù)或提高單核心的主頻等方式來提高算力,此舉會(huì)顯著增加芯片的TDP(熱設(shè)計(jì)功耗);另一方面可以依靠先進(jìn)制程技術(shù)來縮減單位算力對(duì)應(yīng)的TDP(TDP/算力)。但是由于先進(jìn)制程技術(shù)推進(jìn)較慢等因素,單位算力對(duì)應(yīng)TDP的下降幅度逐年減少,且遠(yuǎn)不及算力的增長(zhǎng)速度,這也導(dǎo)致了AI芯片功耗的大幅攀升。當(dāng)前,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片的TDP更高達(dá)700W。

640.webp (10).jpg

計(jì)算芯片高功耗造成單服務(wù)器功耗顯著提高。單服務(wù)器功耗大部分源于計(jì)算芯片,服務(wù)器的核心組件包括CPU(中央處理器)、GPU(圖形處理器)、內(nèi)存芯片、SSD(固態(tài)硬盤)、網(wǎng)卡、PCB主板、RAID卡、HBA卡和電源等。CPU/GPU等計(jì)算芯片在通用服務(wù)器功耗中占比約為50%左右,而在AI服務(wù)器中,計(jì)算芯片的功耗占比高達(dá)80%以上。我們參考2022-2023年中國電信集采AI服務(wù)器配置與阿里云通用服務(wù)器配置進(jìn)行功耗計(jì)算,服務(wù)器的功耗可以粗略估計(jì)為所有組件的功耗總和;選取超聚變FusionServer 2288 V7作為通用服務(wù)器的代表型號(hào),超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號(hào),超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號(hào)。

通過我們的測(cè)算,通用服務(wù)器的總功耗為595W,AI訓(xùn)練服務(wù)器的總功耗為7015W,AI推理服務(wù)器的總功耗為1615W。但是由于芯片超頻,額外的NVLINK模組等因素的存在,計(jì)算芯片的實(shí)際滿載功耗往往會(huì)高于官方標(biāo)定的功耗。以上因素導(dǎo)致服務(wù)器的實(shí)際功耗可能會(huì)高于各組件的總功耗,具體的功耗還要以實(shí)際測(cè)試為準(zhǔn)。根據(jù)超聚變服務(wù)器功耗計(jì)算器的測(cè)算,當(dāng)前配置下的通用服務(wù)器的實(shí)際滿載功耗為700W左右,AI訓(xùn)練服務(wù)器的實(shí)際滿載功耗為9800W左右,AI推理服務(wù)器的實(shí)際滿載功耗為2000W左右。(該過程僅為根據(jù)公開資料的估算,請(qǐng)以實(shí)際環(huán)境和負(fù)載下的測(cè)算為準(zhǔn))

640.webp (11).jpg

隨著服務(wù)器功耗提高,單機(jī)柜功率上升趨勢(shì)明顯。根據(jù)Uptime Institute相關(guān)報(bào)告數(shù)據(jù)顯示,2020年全球數(shù)據(jù)中心單機(jī)柜功率密度達(dá)到8.4kW/機(jī)柜,相比于2017年的5.6 kW/機(jī)柜有明顯提升;其中71%的數(shù)據(jù)中心平均功率密度低于10 kW/機(jī)柜,17%的數(shù)據(jù)中心平均功率密度高于20kW/機(jī)柜,預(yù)計(jì)未來數(shù)據(jù)中心功率密度將繼續(xù)上升,高密度數(shù)據(jù)中心占比將持續(xù)提高。

單機(jī)柜功率逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢(shì)所向。風(fēng)冷散熱一般適用于20Kw/機(jī)柜左右的功率密度以下,20Kw/機(jī)柜以上時(shí)液冷散熱優(yōu)勢(shì)明顯。通用服務(wù)器通常為2U,AI訓(xùn)練服務(wù)器通常為6U,AI推理服務(wù)器通常為4U,標(biāo)準(zhǔn)機(jī)柜為42U;考慮到電源模塊、網(wǎng)絡(luò)模塊等因素,假設(shè)單機(jī)柜內(nèi)可以放置18個(gè)通用服務(wù)器或6個(gè)AI訓(xùn)練服務(wù)器或9個(gè)AI推理服務(wù)器,根據(jù)之前對(duì)于服務(wù)器功耗的測(cè)算,則單機(jī)柜功率可以分別達(dá)到12.6kW(通用),58.8kW(AI訓(xùn)練)和18kW(AI推理);考慮到機(jī)柜中其他模塊的散熱情況,實(shí)際單機(jī)柜功率會(huì)更高。對(duì)于通用服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)開始逐步靠近風(fēng)冷散熱閾值,隨著通用服務(wù)器功耗的持續(xù)上升,液冷散熱的優(yōu)勢(shì)有望逐步顯現(xiàn);對(duì)于AI訓(xùn)練與推理服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)逼近或者超出了風(fēng)冷散熱所能覆蓋的功率密度范圍,液冷散熱已成大勢(shì)所趨。

3.2 PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力

數(shù)據(jù)中心耗電量不斷提升,綠色低碳成為必然趨勢(shì)。數(shù)據(jù)中心是能耗大戶,其包含大量的 IT 設(shè)備、供電與制冷設(shè)備。隨著數(shù)據(jù)中心算力與功耗的不斷增長(zhǎng),數(shù)據(jù)中心耗電量必將呈快速增長(zhǎng)趨勢(shì),綠色低碳必將并且已經(jīng)成為新型數(shù)據(jù)中心發(fā)展的重要基本原則之一。

我國數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。PUE 全稱 “Power Usage Effectiveness(能源使用效率)”,是數(shù)據(jù)中心消耗的一切能源與 IT 負(fù)載運(yùn)用的能源之比,比值越接近于1,說明能源越接近全部都用于 IT 負(fù)載上。目前我國一半以上區(qū)域的數(shù)據(jù)中心 PUE 值都在 1.5 以上,即消耗在冷卻等非 IT 負(fù)載上的能源,占到了 IT 負(fù)載的一半以上。截至2021年全國數(shù)據(jù)中心平均PUE為1.49,還有華南、華東、西北和西南區(qū)域的數(shù)據(jù)中心PUE超過1.50,僅有東北、華北和華東區(qū)域的數(shù)據(jù)中心PUE在1.50以下。

640.webp (12).jpg

數(shù)據(jù)中心PUE管控日趨嚴(yán)格,針對(duì)老舊與新建數(shù)據(jù)中心均出臺(tái)強(qiáng)力約束措施。國家與地方出臺(tái)了一系列政策對(duì)數(shù)據(jù)中心能耗管理進(jìn)行規(guī)范,不斷強(qiáng)調(diào)數(shù)據(jù)中心綠色高質(zhì)量發(fā)展的重要性。2021年7月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》,要求到2021年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.35以下;到2023年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下,嚴(yán)寒和寒冷地區(qū)降低到1.25以下。2022年8月,工信部等七部門印發(fā)《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》,要求到2025年,全國新建大型、超大型數(shù)據(jù)中心電能利用效率(PUE)降到1.3以下,改建核心機(jī)房PUE降到1.5以下。除此之外,地方也出臺(tái)了一系列數(shù)據(jù)中心PUE要求相關(guān)的政策文件,其中北京針對(duì)數(shù)據(jù)中心的年能源消耗量設(shè)立了多層次PUE要求,年能源消耗量越高的數(shù)據(jù)中心PUE要求越高,此外還針對(duì)PUE超過1.4的數(shù)據(jù)中心實(shí)行電價(jià)加價(jià)措施。

640.webp (13).jpg

640.webp (14).jpg

冷卻系統(tǒng)占據(jù)數(shù)據(jù)中心除IT設(shè)備負(fù)載外的能耗中的絕大部分,液冷技術(shù)能夠有效降低冷卻系統(tǒng)能耗,進(jìn)而降低數(shù)據(jù)中心PUE,滿足監(jiān)管政策要求。PUE為1.92的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占總能耗的比例為38%左右,而PUE為1.3的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占比下降至18%,這意味著降低數(shù)據(jù)中心PUE的關(guān)鍵就在于降低冷卻系統(tǒng)的能耗表現(xiàn)。在同等的散熱水平下,傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般為1.5左右,液冷方案的PUE值可降至1.05-1.2左右,能夠滿足當(dāng)前政策對(duì)于數(shù)據(jù)中心PUE的要求。

3.3 數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素

數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營成本(Opex)。Capex一般指建設(shè)成本,包括土地獲取、勘察、規(guī)劃設(shè)計(jì)、設(shè)備購置、建設(shè)、安裝以及系統(tǒng)調(diào)測(cè)等費(fèi)用;Opex一般指運(yùn)營成本,主要包含電力、冷卻散熱等基礎(chǔ)設(shè)施成本、維護(hù)成本及管理成本。低成本是數(shù)據(jù)中心建立競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵,也是降低投資回收期和持續(xù)發(fā)展的關(guān)鍵。

我們基于華東地區(qū)、2N UPS、30kW每機(jī)柜等常見數(shù)據(jù)中心配置進(jìn)行風(fēng)冷、冷板式液冷和浸沒式液冷等不同冷卻方式下的TCO測(cè)算(本文關(guān)于TCO的討論均不考慮服務(wù)器等IT設(shè)備成本)。市場(chǎng)普遍認(rèn)為,風(fēng)冷方案在Capex上更具經(jīng)濟(jì)性,液冷方案只在后續(xù)的Opex中有一定的優(yōu)勢(shì)。但是根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)(CDCC)發(fā)布的報(bào)告進(jìn)行測(cè)算,現(xiàn)階段選擇冷板式液冷方案的Capex已經(jīng)低于風(fēng)冷方案,即便是浸沒式液冷方案,也將在運(yùn)行5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。(該過程僅為根據(jù)公開資料的估算,請(qǐng)以實(shí)際環(huán)境和負(fù)載下的測(cè)算為準(zhǔn))

但是該測(cè)算結(jié)果依賴于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營支出、水電費(fèi)與房租等運(yùn)營成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對(duì)制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場(chǎng)景下液冷技術(shù)的經(jīng)濟(jì)性尚沒有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢(shì)下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長(zhǎng)服務(wù)器使用壽命,未來液冷數(shù)據(jù)中心TCO的優(yōu)勢(shì)將更加明顯。

640.webp (15).jpg

機(jī)電部分包括制冷系統(tǒng)、配電系統(tǒng)、機(jī)柜系統(tǒng)、布線系統(tǒng)和監(jiān)控管理系統(tǒng)的購置和安裝成本,不考慮IT設(shè)備成本。

640.webp (16).jpg

液冷方案與風(fēng)冷方案相比:1)其機(jī)電部分的Capex可以節(jié)省掉冷凍水機(jī)組/冷凍水精密空調(diào),減少UPS和開關(guān)設(shè)備的容量等;2)需要增加密封機(jī)箱、冷卻液、冷板、熱交換器、防滴漏連接器和機(jī)架式分液器等液冷設(shè)備方面的成本;3)液冷方案下同樣外電體量的數(shù)據(jù)中心內(nèi)空間利用率更高,能承載更多IT設(shè)備,每ITkW(IT設(shè)備功率)下的分?jǐn)偝杀靖汀8鶕?jù)假設(shè)條件測(cè)算,風(fēng)冷、冷板式液冷、浸沒式液冷方案的機(jī)電部分Capex分別為16000-18000元/ITkW、15000-17000元/ITkW和23000-28000元/ITkW左右。冷板式液冷方案下分?jǐn)偟矫縄TkW下的機(jī)電部分Capex與風(fēng)冷方案基本持平甚至更低;浸沒式液冷方案所需增加的機(jī)電設(shè)備較多,分?jǐn)傁聛砻縄TkW的Capex相比于風(fēng)冷仍有7000-10000元/ITkW左右的上升。

640.webp (17).jpg

土建部分主要包括建筑物成本。風(fēng)冷和液冷方案的土建成本差異主要在于同樣體量的數(shù)據(jù)中心內(nèi),液冷方案下建筑所需的建筑面積更小。根據(jù)奕信通科技測(cè)算,風(fēng)冷、冷板式液冷、浸沒式液冷的土建部分Capex分別為5000元/ITkW,3000元/ITkW和3500元/ITkW左右。

外電和能評(píng)部分主要包括獲取外電資源,通過能評(píng)驗(yàn)收所需付出的成本。與風(fēng)冷相比,液冷方案的PUE更低更節(jié)能,獲取外電資源,通過能評(píng)驗(yàn)收的難度相對(duì)會(huì)小很多。根據(jù)奕信通科技測(cè)算,風(fēng)冷、冷板式液冷、浸沒式液冷的外電和能評(píng)部分Capex分別為4000元/ITkW,2000元/ITkW和2000元/ITkW左右。

640.webp (18).jpg

Opex中占比*高的是電力成本,液冷技術(shù)可以有效降低電力成本。數(shù)據(jù)中心的Opex主要包括電力成本、固定資產(chǎn)折舊、房租、人工費(fèi)等等,其中電力成本占比*高,達(dá)到56.7%(風(fēng)冷情況下)。

640.webp (19).jpg

浸沒式液冷方案的Opex*具優(yōu)勢(shì)。根據(jù)奕信通科技測(cè)算,風(fēng)冷方案的Opex為9360-9720元/ITkw/年左右,冷板式液冷方案的Opex為8040-8400元/ITkw/年左右,浸沒式液冷方案的Opex是7800-8160元/ITkw/年左右。

640.webp (20).jpg

現(xiàn)階段選擇冷板式液冷的初始TCO已經(jīng)低于風(fēng)冷,浸沒式液冷的TCO將在5-6年之后低于風(fēng)冷。我們根據(jù)以上測(cè)算結(jié)果進(jìn)行10年期的TCO測(cè)算,那么風(fēng)冷的Capex和Opex分別為26000元/ITkW和9540元/ITkW/年,冷板式液冷的Capex和Opex分別為21000元/ITkW和8220元/ITkW/年,浸沒式液冷的Capex和Opex分別為31000元/ITkW和7980元/ITkW/年。根據(jù)TCO測(cè)算,現(xiàn)階段冷板式液冷方案的TCO從開始就已經(jīng)低于風(fēng)冷方案,浸沒式液冷方案也將在5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。

640.webp (21).jpg

3.4 液冷技術(shù)能夠有效延長(zhǎng)服務(wù)器使用壽命,實(shí)現(xiàn)降本增效

傳統(tǒng)電子設(shè)備普遍采用空氣冷卻方式,溫度是電子設(shè)備產(chǎn)生故障的主要原因之一。環(huán)境的多樣性包括溫度、濕度、振動(dòng)、灰塵等多個(gè)方面,在導(dǎo)致電子設(shè)備失效的因素中溫度占了55%,過熱是電子設(shè)備產(chǎn)生故障的主要誘因。隨著溫度的增加,電子、原子、分子的運(yùn)動(dòng)速度加快,使得電子設(shè)備的性能發(fā)生變化,當(dāng)達(dá)到一定階段時(shí),就會(huì)引起嚴(yán)重的故障。在高于一般室內(nèi)環(huán)境溫度(約20°C~25°C)范圍內(nèi)條件下,故障率大致按指數(shù)規(guī)律隨溫度的升高而增加。同時(shí),濕度、振動(dòng)、灰塵等因素同樣會(huì)對(duì)電子設(shè)備的工作性能和使用壽命產(chǎn)生負(fù)面影響。

640.webp (22).jpg

液冷能夠有效降低服務(wù)器部件故障率,延長(zhǎng)使用壽命。液體具有比空氣更大的比熱容,散熱能力更強(qiáng),使得服務(wù)器溫度更加穩(wěn)定,CPU和GPU計(jì)算部件可以長(zhǎng)時(shí)間穩(wěn)定工作在高性能頻率狀態(tài)。此外,浸沒式液冷將IT設(shè)備浸入封閉的液體環(huán)境中,與空氣完全隔離,并且不再需要高速風(fēng)扇進(jìn)行散熱,消除了空氣濕度、風(fēng)扇振動(dòng)以及灰塵帶來的可靠性影響,從而優(yōu)化了服務(wù)器的運(yùn)行環(huán)境,延長(zhǎng)了設(shè)備的使用壽命。根據(jù)阿里云的實(shí)驗(yàn)數(shù)據(jù),與風(fēng)冷服務(wù)器相比,液冷服務(wù)器整體部件故障率下降約53%,其中電源、網(wǎng)卡、風(fēng)扇、網(wǎng)線等部件的故障率下降超過80%。隨著單服務(wù)器價(jià)值量以及數(shù)據(jù)中心運(yùn)營成本的與日俱增,服務(wù)器的可靠性與使用壽命顯得尤為重要,液冷帶來的附加經(jīng)濟(jì)價(jià)值有望逐步顯現(xiàn)。

640.webp (23).jpg

3.5 解耦交付模式成為未來發(fā)展趨勢(shì),助力液冷產(chǎn)業(yè)規(guī)范化發(fā)展

目前冷板式液冷方案的交付模式可以分為兩類,包括一體化交付與解耦交付兩種。一體化交付是指液冷機(jī)柜的所有部分,包括機(jī)柜和服務(wù)器等,都按照廠商自行設(shè)定的標(biāo)準(zhǔn)進(jìn)行集成設(shè)計(jì)開發(fā),然后再作為一個(gè)整體進(jìn)行交付。而解耦交付則要求液冷機(jī)柜與液冷服務(wù)器之間遵循用戶預(yù)先制定的通用接口設(shè)計(jì)規(guī)范,機(jī)柜與服務(wù)器可以分別由不同廠商負(fù)責(zé)生產(chǎn)和交付。

640.webp (24).jpg

640.webp (25).jpg

解耦交付模式為大勢(shì)所趨,助推冷板式液冷產(chǎn)業(yè)規(guī)范化發(fā)展。服務(wù)器與機(jī)柜解耦更有利于形成統(tǒng)一的技術(shù)標(biāo)準(zhǔn)及規(guī)范,能夠促進(jìn)行業(yè)競(jìng)爭(zhēng)與技術(shù)推廣,讓更多廠商能夠參與液冷行業(yè),實(shí)現(xiàn)多廠家適配,也便于后續(xù)靈活部署,使得客戶可以根據(jù)實(shí)際需求選擇不同的服務(wù)器和機(jī)柜組合,不會(huì)受限于某一個(gè)供應(yīng)商。目前華為、超聚變等液冷廠商已經(jīng)實(shí)現(xiàn)了盲插快接,中國移動(dòng)也已經(jīng)著手研發(fā)新型機(jī)柜,并計(jì)劃在完成測(cè)試后開源,推動(dòng)更多的服務(wù)器和機(jī)柜廠商參與到盲插解耦液冷技術(shù)的研發(fā)與驗(yàn)證中,推動(dòng)技術(shù)成熟與規(guī)范化。

640.webp (26).jpg

4 數(shù)據(jù)中心液冷未來市場(chǎng)規(guī)模估算

根據(jù)估算,到2025年,中國數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。核心假設(shè)如下:

1)假設(shè)通用服務(wù)器的平均功率為0.7kW。以超聚變FusionServer 2288 V7(2U)作為通用服務(wù)器的代表型號(hào),在超聚變服務(wù)器功耗計(jì)算器中測(cè)算得出其滿載功率約為0.7kW。

2)假設(shè)AI服務(wù)器的平均功率為3.8kW,其中AI訓(xùn)練服務(wù)器平均功率為8kW,AI推理服務(wù)器為2kW。根據(jù)產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)AI服務(wù)器中訓(xùn)練與推理的數(shù)量關(guān)系約為3:7,訓(xùn)練服務(wù)器中H系列和A系列所占比例約為4:6,推理服務(wù)器均為T4系列。以超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號(hào),超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號(hào),根據(jù)超聚變服務(wù)器功耗計(jì)算器,H系列訓(xùn)練服務(wù)器滿載功率約為10kW,A系列訓(xùn)練服務(wù)器滿載功率約為6.8kW,T4系列推理服務(wù)器的功率約為2KW。結(jié)合以上數(shù)量比例關(guān)系,可以估算出AI服務(wù)器平均功率約為3.8kW。

3)假設(shè)通用服務(wù)器平均功率每年提升10%,AI訓(xùn)練與推理服務(wù)器平均功率未來三年提升30%/20%/15%。根據(jù)近幾年CPU/GPU TDP的變化趨勢(shì),CPU TDP每年提升10%左右,GPU TDP每年提升20%左右,我們假設(shè)通用服務(wù)器平均功率未來三年保持10%左右的增速,AI訓(xùn)練與推理服務(wù)器平均功率未來三年的增速為30%/20%/15%。

4)至2025年,假設(shè)通用服務(wù)器液冷滲透率由5%提升到20%,AI訓(xùn)練服務(wù)器液冷滲透率由70%提升到100%,AI推理服務(wù)器液冷滲透率由40%提升至70%。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年我國液冷滲透率為5%-8%左右,預(yù)計(jì)2025-2028年時(shí)液冷滲透率能達(dá)到30%左右。我們假設(shè)通用服務(wù)器2022年液冷滲透率為5%,至2025年液冷滲透率上升至20%;AI訓(xùn)練服務(wù)器2022年液冷滲透率為70%,至2025年液冷滲透率上升至100%;AI推理服務(wù)器2022年液冷滲透率為40%,至2025年液冷滲透率上升至70%;整體液冷滲透率由2022年的8%上升至2025年的25.7%。

5)至2025年,假設(shè)浸沒式液冷滲透率由10%提升至30%,冷板式液冷滲透率由90%降低至70%。根據(jù)IDC《中國半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國冷板式液冷服務(wù)器比例為90%左右,浸沒式液冷滲透率僅為10%。隨著未來浸沒式液冷技術(shù)逐漸成熟進(jìn)入加速推廣期,我們預(yù)計(jì)浸沒式液冷的滲透率由2022年的10%上升至2025年的30%,冷板式液冷的滲透率由2022年的90%下降至70%。

6)考慮到大部分?jǐn)?shù)據(jù)中心液冷廠商的產(chǎn)品只覆蓋數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中的制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分,故估算數(shù)據(jù)中心液冷市場(chǎng)規(guī)模時(shí)只考慮數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分的市場(chǎng)規(guī)模,不考慮布線系統(tǒng)、土建、外電、能評(píng)等其他配套部分。結(jié)合產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)冷板式液冷基礎(chǔ)設(shè)施的價(jià)值量約為10000元/ITkW,浸沒式液冷基礎(chǔ)設(shè)施的價(jià)值量約為15000元/ITkW。

7)考慮到未來數(shù)據(jù)中心液冷市場(chǎng)競(jìng)爭(zhēng)逐步加劇以及技術(shù)逐漸成熟,液冷方案價(jià)格將呈逐年下降的趨勢(shì);冷板式液冷技術(shù)目前更為成熟,未來價(jià)格的下降空間相對(duì)較小。我們假設(shè)冷板式液冷價(jià)值量逐年下降5%,浸沒式液冷價(jià)值量逐年下降10%。

640.webp (27).jpg


以下是A股液冷服務(wù)器概念梳理:

中科曙光:公司的 ParaStor 液冷存儲(chǔ)產(chǎn)品將液冷方案與存儲(chǔ)技術(shù)結(jié)合, 有效降低 PUE 值;在應(yīng)用層面,靈活配置多種場(chǎng)景, 針對(duì)高性能小規(guī)模應(yīng)用場(chǎng)景,提供全閃存配置方案,而針對(duì)中大規(guī)模應(yīng)用場(chǎng)景,則提供更高性價(jià)比的混閃配置方案,為客戶釋放更多的業(yè)務(wù)價(jià)值。此外,ParaStor 液冷存儲(chǔ)產(chǎn)品與液冷服務(wù)器形成“存算一棧式” 液冷方案,在提高運(yùn)維效率的同時(shí),助力數(shù)據(jù)中心部署更便捷。(行業(yè)龍頭)

浪潮信息:浪潮信息將“All in 液冷”納入公司發(fā)展戰(zhàn)略,全棧布局液冷,發(fā)布全棧液冷產(chǎn)品,實(shí)現(xiàn)通用服務(wù)器、高密度服務(wù)器、整機(jī)柜服務(wù)器、AI 服務(wù)器四大系列全線產(chǎn)品均支持冷板式液冷,并提供液冷數(shù)據(jù)中心全生命周期整體解決方案(行業(yè)龍頭)

工業(yè)富聯(lián):公司研發(fā)基于開放平臺(tái)聯(lián)盟架構(gòu)的 DC_MHS 數(shù)據(jù)中心模塊化硬件系統(tǒng),推出全球**臺(tái)模塊化服務(wù)器,同時(shí)產(chǎn)品應(yīng)用于客戶*新一代 HPC 加速器中;液冷技術(shù)方面,公司持續(xù)加大數(shù)據(jù)中心節(jié)能技術(shù)研發(fā),通過沉浸式與機(jī)柜式液冷散熱系統(tǒng),實(shí)現(xiàn)成本節(jié)約及效率提升。(行業(yè)龍頭)

紫光股份:2022年公司發(fā)布了H3C UniServer R4900LC G5液冷服務(wù)器及以其為核心的液冷系統(tǒng)、新一代超融合UIS8.0、全新綠洲平臺(tái)2.0等產(chǎn)品和方案。(行業(yè)龍頭)

中興通訊:公司擁有全系列服務(wù)器及存儲(chǔ)產(chǎn)品,包括通用服務(wù)器、GPU服務(wù)器、液冷服務(wù)器以及全閃存儲(chǔ)產(chǎn)品、混閃存儲(chǔ)產(chǎn)品等。(行業(yè)龍頭)

光迅科技:公司是浸沒液冷智算產(chǎn)業(yè)發(fā)展聯(lián)盟會(huì)員單位,是相關(guān)標(biāo)準(zhǔn)、工藝研究和實(shí)踐的重要參與者之一,目前已有相關(guān)產(chǎn)品發(fā)布。(行業(yè)新玩家)

飛龍股份:公司的數(shù)據(jù)中心液冷產(chǎn)品在蕪湖飛龍、鄭州飛龍已建有專門生產(chǎn)線。公司多個(gè)液冷項(xiàng)目正在進(jìn)行中,部分項(xiàng)目已經(jīng)量產(chǎn)。(行業(yè)新玩家)

網(wǎng)宿科技:公司全資子公司綠色云圖自主研發(fā)的浸沒式液冷技術(shù),能夠?yàn)槠髽I(yè)提供更節(jié)能、高效的液冷數(shù)據(jù)中心建設(shè)及改造方案。經(jīng)工業(yè)和信息化部電子第五研究所(中國賽寶實(shí)驗(yàn)室)數(shù)據(jù)中心能效評(píng)估,綠色云圖自主研發(fā)的液冷數(shù)據(jù)中心PUE均值低至1.049。(行業(yè)新玩家)

潤(rùn)澤科技:公司已經(jīng)開始批量交付液冷機(jī)柜,正在交付的以10kw左右的高密機(jī)柜為主,以及20kw以上的液冷機(jī)柜。公司將加快推進(jìn)高密機(jī)柜和液冷機(jī)柜應(yīng)用,快速實(shí)現(xiàn)整棟液冷數(shù)據(jù)中心正式投運(yùn),向智算中心和超算中心快速演進(jìn),形成數(shù)據(jù)中心、智算中心和超算中心融合的綜合算力中心。(行業(yè)新玩家)

烽火通信:公司全新一代 FitNeo LCS 液冷解決方案,專為高熱密度機(jī)柜綠色低碳運(yùn)營而設(shè)計(jì)。FitNeo LCS 通過芯片級(jí)制冷,直接利用*大溫差快速換熱,實(shí)現(xiàn)超低 PUE,CLF 低至 0.04,功耗降低 5-20%;同時(shí),具有環(huán)保無氟、低噪低耗、綠色節(jié)能等特點(diǎn),機(jī)組管路通過工廠預(yù)制模塊化配裝實(shí)現(xiàn)快速交付,精減現(xiàn)場(chǎng)動(dòng)火焊接環(huán)節(jié);冷卻液緩蝕抑菌、超低電導(dǎo),連接部件超高承壓,超低漏率,全鏈路漏液檢測(cè)可自動(dòng)上報(bào)。(行業(yè)新玩家)

銳新科技:公司鋁合金散熱器應(yīng)用在液冷服務(wù)器中。在光模塊的冷卻中,通過對(duì)鋁合金基座進(jìn)行直接水冷散熱的,而光學(xué)元件是裝在基板上工作,所產(chǎn)生的熱量是由基座吸收,從達(dá)到散熱的目的。公司鋁合金散熱器應(yīng)用在液冷服務(wù)器光模塊的冷卻。(液冷材料)

科華數(shù)據(jù):目前公司自主研發(fā)的液冷技術(shù)已運(yùn)用在公司數(shù)據(jù)中心及儲(chǔ)能產(chǎn)品、解決方案中。領(lǐng)先的產(chǎn)品和技術(shù)是公司的長(zhǎng)期核心競(jìng)爭(zhēng)力,公司持續(xù)跟進(jìn)客戶的技術(shù)產(chǎn)品需求,做好相關(guān)技術(shù)儲(chǔ)備,保持自身技術(shù)的領(lǐng)先性。(液冷零部件)

歐陸通:公司為阿里巴巴定制的新一代浸沒式液冷集中式供電電源在云棲大會(huì)展出,應(yīng)用于磐久服務(wù)器供電系統(tǒng)。該電源方案包括晨沒式液冷的ATS 2.5KW PSU 和30kw Power Shef,由歐陸通子公司云電科技自主研發(fā)及生產(chǎn),進(jìn)入準(zhǔn)量產(chǎn)階段。該加工結(jié)合了浸沒式液冷+集中式供電的雙重優(yōu)勢(shì),帶ATS部件整機(jī)效率高達(dá)97%。(液冷零部件)

中石科技:公司宜興子公司主營產(chǎn)品包括液冷模組等,建立相關(guān)技術(shù)儲(chǔ)備和產(chǎn)品線,為國內(nèi)外多家服務(wù)器企業(yè)提供液冷等全方位的管理綜合解決方案。(液冷零部件)

科創(chuàng)新源:公司研發(fā)的數(shù)據(jù)中心服務(wù)器特種散熱模組可滿足客戶在高算力場(chǎng)景下,高功耗半導(dǎo)體芯片的散熱效能,該項(xiàng)目已完成樣品試制并已通過驗(yàn)證。公司控股子公司蘇州瑞泰克散熱科技有限公司主要產(chǎn)品包括冷凝器、蒸發(fā)器以及散熱液冷板等熱管理系統(tǒng)產(chǎn)品。(液冷零部件)

高瀾股份:公司服務(wù)器液冷業(yè)務(wù)擁有三種解決方案:冷板式液冷、浸沒式液冷和集裝箱式液冷,可有效降低大型數(shù)據(jù)中心的PUE(數(shù)據(jù)中心總設(shè)備能耗/IT設(shè)備能耗)。(液冷零部件)

康盛股份:公司新一代數(shù)據(jù)中心機(jī)房建設(shè)完成并投入使用,標(biāo)志著康盛股份在液冷溫控領(lǐng)域?qū)崿F(xiàn)新突破,邁上新臺(tái)階。康盛股份標(biāo)準(zhǔn)化浸沒式液冷機(jī)房IT設(shè)備功率130kW,可提供2P算力。液冷機(jī)房建設(shè)主要依據(jù)GB50174-2017和液冷數(shù)據(jù)中心技術(shù)規(guī)范(康盛股份參編行業(yè)標(biāo)準(zhǔn))。康盛股份標(biāo)準(zhǔn)化浸沒式液冷機(jī)房配3臺(tái)30kW 42U高性能液冷機(jī)柜、2臺(tái)20kW 21U高性能液冷機(jī)柜。目前運(yùn)行服務(wù)器主要有新華三5315Y服務(wù)器和DELL R760服務(wù)器。(液冷零部件)

精研科技:公司可為消費(fèi)電子、通信、激光投影、服務(wù)器等領(lǐng)域客戶提供風(fēng)冷模組、液冷模組、液冷板以及模組子件熱管、VC等散熱部品。(液冷零部件)

華勤技術(shù):公司已于2021年取得液冷裝置及設(shè)備的實(shí)用新型**,并在散熱方面取得了數(shù)據(jù)產(chǎn)品散熱核心技術(shù)。目前在部分的人工智能服務(wù)器上使用液冷散熱技術(shù)。(液冷零部件)

銳捷網(wǎng)絡(luò):司在業(yè)界進(jìn)行了NPO、液冷等創(chuàng)新技術(shù)的探索和市場(chǎng)實(shí)踐。公司與頭部互聯(lián)網(wǎng)客戶聯(lián)合發(fā)布了在大型數(shù)據(jù)中心規(guī)模部署的浸沒式液冷交換機(jī),提升了數(shù)據(jù)中心網(wǎng)絡(luò)的可靠性和能源效率;去年,公司發(fā)布了同時(shí)應(yīng)用NPO硅光和冷板式液冷技術(shù)的 51.2T NPO硅光交換機(jī),推動(dòng)數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)更加綠色低碳化。(液冷零部件)

飛榮達(dá):公司針對(duì)服務(wù)器上的散熱需求還開發(fā)了軸流風(fēng)扇,特種散熱器,單相液冷冷板模組,兩相液冷模組等產(chǎn)品。(液冷零部件)

強(qiáng)瑞技術(shù):公司CDU(液冷分配單元)單機(jī)已通過客戶測(cè)試并生產(chǎn)。(液冷零部件)

申菱環(huán)境:公司致力于緊跟客戶步伐,通過高能效,可靠的新一代溫控產(chǎn)品如DPC相變冷卻系統(tǒng),新型高效蒸發(fā)冷卻系統(tǒng),液冷溫控系統(tǒng)等產(chǎn)品和解決方案服務(wù)客戶。(液冷零部件)

英維克:公司在算力行業(yè)應(yīng)用的液冷全鏈條解決方案已有成熟、完整布局,未來由于AI算力的增長(zhǎng)勢(shì)必拉動(dòng)相關(guān)的業(yè)務(wù)增長(zhǎng)。(液冷零部件)

同方股份:公司目前有基于華為昇騰的AI服務(wù)器可提供液冷解決方案。(華為)

朗威股份:公司是一家數(shù)據(jù)中心機(jī)房及綜合布線設(shè)備提供商,主營業(yè)務(wù)是服務(wù)器機(jī)柜、冷熱通道、微模塊、T-block機(jī)架等數(shù)據(jù)中心機(jī)柜和綜合布線產(chǎn)品的研發(fā)、生產(chǎn)、銷售及服務(wù)。2022年公司液冷機(jī)柜產(chǎn)品銷售收入占數(shù)據(jù)中心機(jī)柜銷售總額的比例為3.79%。(液冷零部件)

神州數(shù)碼:公司目前正在進(jìn)行液冷整機(jī)柜產(chǎn)品的需求設(shè)計(jì)和開發(fā)。目前液冷共有兩種主流的技術(shù)方案,分別是浸沒方案和冷板方案,分別適用于不同的數(shù)據(jù)中心場(chǎng)景,公司當(dāng)前規(guī)劃的液冷整機(jī)柜產(chǎn)品會(huì)基于冷板開發(fā)。(液冷零部件)

雙良節(jié)能:公司CDM液冷換熱模塊涉及全浸沒式液冷服務(wù)器換熱模塊與尾端冷卻塔設(shè)備,近年來一直獲有優(yōu)質(zhì)客戶的訂單。(液冷零部件)

[聲明]文章系本網(wǎng)編輯轉(zhuǎn)載,轉(zhuǎn)載目的在于傳遞更多行業(yè)新聞信息,文章僅作交流學(xué)習(xí)使用,也并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在**時(shí)間刪除內(nèi)容!

本站文章版權(quán)歸原作者所有 內(nèi)容為作者個(gè)人觀點(diǎn) 本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。本站擁有對(duì)此聲明的*終解釋權(quán)。



亚洲av无码乱码国产精品久久 | 免费看毛片的网站 | 中文字字幕在线中文乱码电影 | yy6080午夜 | 成人91视频 | 碧蓝之海动漫在线观看免费高清 | 国产一区二区视频在线 | 人人草人人爽 | 水密桃av| 男人天堂一区 | 草民午夜理伦三级 | 四虎在线免费观看 | 午夜免费播放观看在线视频 | 白又丰满大屁股bbbbb | 国产成人在线免费观看视频 | 中文字幕观看 | 亚洲欧洲视频 | 妻子的性幻想 | 精品1区2区3区 | 中国精品毛片 | 草久影院| 欧美色激情 | 三级av片| 想要视频在线观看 | 性高潮久久久久久久 | 蜜桃av噜噜一区二区三区麻豆 | 性一交一乱一区二区洋洋av | 日韩av一区二区三区在线观看 | 国产卡一卡二 | 无码人妻aⅴ一区二区三区玉蒲团 | 欧美放荡性医生videos | 青青草狠狠干 | 偷拍亚洲视频 | 中国精品毛片 | 操操操操操操操操操 | 日韩和欧美的一区二区 | 韩国无码一区二区三区精品 | 国产麻豆传媒 | 成人av电影免费观看 | 国产a电影 | 久青草视频在线观看 | 草莓视频app18在线视频 | 欧美日韩中文字幕一区二区 | 1024国产在线 | 青青青草视频在线观看 | 女~淫辱の触手3d动漫 | 中文字幕一区二区三区人妻不卡 | 可以免费看的av网站 | 青青导航 | 秋霞一区| 天天干天天草天天射 | 精产国产伦理一二三区 | 亚洲国产精品无码久久久久高潮 | 欧美精品成人在线 | 欧美jizz欧美性大全 | www色日本 | 一级免费观看 | 国产日批视频 | 亚洲播放器| 久久大香 | 91超碰免费在线 | 亚洲精品777 | 午夜看片 | 在线不卡| 中文av在线播放 | 色中文字幕 | 黄色aaa视频 | 日本精品视频在线播放 | 久草久热 | 中文字幕观看视频 | 欧美亚洲中文精品字幕 | 日韩av一区二区三区在线观看 | 国产黄色片在线播放 | 三上悠亚 在线观看 | 欧洲成人免费视频 | 在线观看三级电影 | 美女靠逼app | 国产精品久久影视 | 三级av电影 | 成人精品在线视频 | videosex抽搐痉挛高潮 | 午夜院线| 西西44rtwww国产精品 | 欧美色激情 | 中文字幕一区二区人妻电影 | 成人久久视频 | 神马久久久久久久久 | 黄色精品在线观看 | 日本五十肥熟交尾 | 韩国三级与黑人 | 男人都懂的网站 | 欧美一区二区三区不卡 | 国产一区二区毛片 | 亚洲九九 | gogogo日本免费观看电视 | 国产精品呻吟 | 天天干在线观看 | 一区二区三区黄 | 国产美女自慰在线观看 | 国产无套精品一区二区三区 | 成人精品三级av在线看 | 橹图极品美女无圣光 | 亚洲综合色在线 | 国产第8页 | 久久免费看少妇高潮 | 91免费短视频 | 色午夜av| 想要视频在线观看 | 亚洲精品中文字幕 | 日韩大片免费观看 | 欧美二区在线观看 | 91嫩草在线 | 欧美亚洲在线视频 | 91嫩草视频在线观看 | 五月婷婷激情四射 | 国产中文字幕在线播放 | 欧美一级成人 | 99热这里只有精品在线观看 | 一区二区三区毛片 | 超碰在线免费 | 蜜臀尤物一区二区三区直播 | 国产性色av | 欧美性生活视频 | a一级黄色| 97在线看| 99综合 | 西西44rtwww国产精品 | 韩国无码一区二区三区精品 | 国产精品久久国产精麻豆96堂 | 安装下载app | 绿帽视频| 911精品国产一区二区在线 | 综合网天天 | 在线观看黄色网页 | 蜜桃视频在线观看www | sm捆绑调教视频 | 91桃色在线观看 | 91热热| 日本高清三区 | 精品午夜视频 | 国产呦小j女精品视频 | 黄色美女一级片 | 狠狠干.com| 中国极品少妇xxxx做受 | 日韩午夜精品 | 中文字幕视频在线观看 | 精品国产乱码久久久久久郑州公司 | 柠檬福利第一导航在线 | 高清不卡毛片 | 韩国一区二区在线观看 | 深夜福利免费观看 | 色七七视频| 99久久久无码国产精品免费蜜柚 | 亚洲黄色在线观看 | 日日夜夜影院 | 一区二区三区欧美视频 | 无码人妻aⅴ一区二区三区玉蒲团 | 色久视频 | 日韩美女网 | 做爰视频 | 日日夜夜影院 | 天天摸天天爽 | 五月婷婷激情四射 | 久久99亚洲精品 | 女人免费视频 | 男女网站免费 | 91精品人妻一区二区三区 | 伊人久久大香线蕉av一区 | 少妇高潮惨叫久久久久久 | 亚洲欧美日韩综合在线 | 丁香六月综合激情 | 国产视频一区二区在线观看 | 五月天婷婷综合网 | www.伊人网| 草莓视频免费在线观看 | 麻豆成人在线 | 爱逼综合 | 永久免费成人代码 | 色悠悠视频 | 亚洲一区二区观看 | 激情小说在线 | 4hu最新网址| 中文字幕不卡在线观看 | 黄页网站在线播放 | 欧美精品久久久久久 | 亚洲女成人图区 | 久久国产小视频 | 少妇被躁爽到高潮无码人狍大战 | 原神女裸体看个够无遮挡 | 国产又粗又猛视频免费 | 国产精品欧美在线 | 午夜免费观看视频 | 亚洲精品中文字幕 | 色情毛片 | 国产一区精品在线观看 | 久久成人免费视频 | 95在线视频| 久操福利视频 | 中文字字幕在线中文乱码电影 | 福利视频免费 | 欧美专区第一页 | 国产做爰免费视频观看 | 国内精品久久久久久 | 国产精品白丝喷水在线观看 | 丁香花电影免费播放电影 | 久久涩视频| 国产高清av在线 | 国产精品2 | 国产又粗又大又爽视频 | 特大黑人巨交吊性xxxx视频 | 日韩精品五区 | 图片区偷拍区小说区 | 香蕉视频黄色 | 日本精品在线播放 | 久久综合狠狠综合久久综合88 | 玩弄人妻少妇500系列 | 成人免费在线播放 | 国产精品呻吟 | 黄色免费看片网站 | 日韩理论片在线观看 | 成年人一级片 | 日本亚洲色大成网站www久久 | 大香焦久久 | 日韩精品视频在线免费观看 | 91好色先生 | 99精品视频在线 | 女人洗澡一级特黄毛片 | 免费成人av在线 | 日日夜夜精 | 可以看的毛片 | 4hu最新网址 | 国产乱子伦精品视频 | 午夜看毛片 | 天堂在线1 | 亚洲欧美精品一区二区三区 | 在线黄色av网站 | 97人人爱 | 91热热| 国产又粗又猛视频免费 | 男女网站免费 | 在线观看亚洲国产 | 亚洲免费三级 | 天天摸夜夜添狠狠添婷婷 | 亚洲免费三级 | 成人免费毛片男人用品 | 日本精品在线播放 | 中文字幕综合在线 | 欧美日韩中文字幕一区二区 | 国产三级不卡 | 复古经典毛茸茸xxxxxxxx | 国产在线高清 | 在线无限看免费粉色视频 | 在线观看亚洲国产 | 久久精品一 | 4438全国成人免费 | 91好色先生| 国产成人激情 | 亚洲熟妇色自偷自拍另类 | 伊人久久久久久久久久 | 黄色片网站在线观看 | 欧美精品成人在线 | 国产精品视频在线观看 | 欧美大片免费 | 久久精品噜噜噜成人 | 中文字幕一级 | 99激情 | 亚洲精品中文字幕 | 偷偷操网站 | 亚洲一区二区三区免费视频 | 女女在线 | 国模在线| www日本高清视频 | 一区二区三区毛片 | 国产人妻精品一区二区三区不卡 | 国内外成人在线视频 | 人成在线 | 打屁股调教视频 | 久久免费看少妇高潮 | 大陆熟妇丰满多毛xxxⅹ | 1024国产在线| 亚洲黄色片| 男男黄网站 | av不卡网站| 久久精品大片 | 一区二区三区黄 | 国产在线无码精品 | 深夜视频18| 日日夜夜爽爽 | 天天干天天草天天射 | 国产无套精品一区二区三区 | 草民午夜理伦三级 | 亚洲啊v | 中文字幕自拍偷拍 | 三浦理惠子av在线播放 | 久热只有精品 | 日韩2区| 成年人黄色录像 | 亚洲三级精品 | 午夜久久久久久久久久 | 国产午夜电影 | 在线不卡| 成人做爰视频www | 免费看日韩毛片 | 欧美二区在线观看 | 欧美春色| 911精品国产一区二区在线 | 91资源总站 | 精品伦精品一区二区三区视频密桃 | 91精品网| 午夜免费小视频 | 麻豆精品一区二区 | www夜片内射视频日韩精品成人 | 日韩久久一区二区 | 99久久99久久精品国产片果冻 | 中文字幕第一页在线 | 草民午夜理伦三级 | 国产成人在线免费观看视频 | 沟厕沟厕近拍高清视频 | 大香焦久久 | 中文字幕在线免费看 | 国产精品v欧美精品v日韩 | 成人欧美日韩 | av在线播放中文字幕 | 亚洲综合区 | 精品人妻午夜一区二区三区四区 | 精品无码免费视频 | 成人看片泡妞 | 色午夜av | ass大乳尤物肉体pics | 五月婷婷激情四射 | 乱色视频 | 懂色av蜜臀av粉嫩av分享 | 西西44rtwww国产精品 | 日韩有码第一页 | 日本黄色精品 | 九九综合久久 | 欧美亚洲中文精品字幕 | 中文字幕av久久爽一区 | 四虎福利| 一级色网站| 日韩av无码一区二区三区 | 久久亚洲精品小早川怜子 | 潘金莲一级淫片免费放动漫 | 精产国产伦理一二三区 | 成人综合色站 | 华丽的外出在线 | 人人草人人爽 | 国产乱码一区 | 成人午夜视频在线 | 国产精选在线观看 | 国语对白永久免费 | 欧美性猛交xxxx乱大交退制版 | a级片免费在线观看 | 亚洲视频在线观看一区二区 | 91老肥熟| 国产精品白丝喷水在线观看 | 超大量吹潮系列合集 | 欧美日韩影院 | 国产精品久久久久久吹潮 | 日本网站免费观看 | 日本黄页网 | 91精品视频在线播放 | 男女视频免费 | 五月天婷婷综合网 | 少妇久久久久 | 天天插天天狠 | 波多野结衣中文字幕在线 | 亚洲欧美日本一区 | 91亚洲国产成人精品一区 | 天天操天 | 91欧美精品 | 婷婷精品在线 | 人人妻人人澡人人爽精品日本 | 激情开心成人网 | 国产三级久久 | 亚洲一区色 | 午夜肉体高潮免费毛片 | 欧美做受xxxxxⅹ性视频 | 日本精品在线播放 | 青青导航| 92国产精品 | 打白嫩光屁屁女网站 | 国产成人高清在线 | gogogo日本免费观看电视 | 毛片三级 | 午夜激情视频在线观看 | 91天天 | 久久国产小视频 | 日韩av无码一区二区三区 | 免费a级大片 | 专干老肥女人88av | 双性人hdsexvideos | 西西人体大胆4444www | 香蕉视频免费看 | 91久久久久久久久久久 | 少妇自拍视频 | 久久久国产一区二区三区 | 亚洲日日夜夜 | 野花视频免费在线观看 | 麻豆成人免费 | 天天天天天操 | 爆操巨乳| 想要视频在线观看 | 亚洲天堂午夜 | 黄页网站在线播放 | 看特级毛片 | 暖暖日本在线视频 | 日韩影音 | 国产色播 | 一级片黄色 | 精品日韩在线观看 | 在线高清观看免费观看 | 精品无码久久久久 | 女m被s玩胸虐乳哭着求饶 | 一起操在线观看 | 樱桃视频app看片 | 女~淫辱の触手3d动漫 | 国产黄色高清视频 | 亚洲九九| 免费日b视频 | 男人插入女人阴道视频 | 91热热| 黄页网站在线播放 | 久久作爱视频 | 91大神久久 | 欧美性视屏 | 亚洲国产精品无码久久久久高潮 | 欧美婷婷 | 五十路母| 国产在线精品视频 | 中文字幕女同女同女同 | 久久精品国产亚洲AV无码男同 | 北条麻妃av在线 | 我我色综合| ass大乳尤物肉体pics | 波多野结衣一区二区三区在线观看 | 日韩免费网站 | 国产亚洲精品女人久久久久久 | 一区二区三区日韩欧美 | 久久久久久久久久网站 | 欧美日韩在线观看一区二区 | 欧美 日韩 综合 | www午夜 | 久久久久久亚洲av无码专区 | 91精品人妻一区二区三区蜜桃欧美 | 午夜不卡av免费 | 懂色av蜜臀av粉嫩av分享 | 免费在线一区二区三区 | 欧美性生活视频 | 国产视频一区二区在线观看 | 四虎影视免费永久大全 | 91中文| 欧美骚少妇 | 中文字幕第九页 | 欧美高清免费 | 久久久久免费观看 | 综合激情久久 | 欧美精品 在线观看 | 中文天堂网 | 九九视频在线播放 | 91视频污| 亚洲女成人图区 | 日韩和欧美的一区二区 | 永久免费视频网站直接看 | 免费a级大片 | 中文字幕丰满乱子伦无码专区 | 91视频在线网站 | 免费网站观看www在线观 | 中文字幕8 | 黄色一级带| 特黄aaaaaaaaa真人毛片 | 免费网站观看www在线观 | 黄视频在线播放 | 伊人网免费视频 | 97精产国品一二三产区 | 天天躁日日躁aaaaxxxx | 中文字幕观看 | 国产亚洲精品女人久久久久久 | 精品影院| 欧美精品成人在线 | p站在线观看 | 大地二资源在线观看高清国语版 | 欧美日韩亚洲二区 | 人妻丰满熟妇av无码区hd | 五十路母| 日本在线视频中文字幕 | 欧美性猛交xxxx乱大交俱乐部 | 日韩一区二区三区四区在线 | 秘密基地动漫在线观看免费 | 亚洲黄视频 | 草草免费视频 | 国产精品白虎 | 在线看片你懂得 | 久久久久噜噜噜亚洲熟女综合 | 国产性色av| 超碰免费公开 | 草莓视频免费在线观看 | 男人的天堂一区二区 | 大地二资源在线观看高清国语版 | 欧美又粗又深又猛又爽啪啪九色 | 日批国产| 91色站| 久久久久久999 | 欧美放荡性医生videos | 亚洲天天干 | 免费在线国产视频 | 亚洲美女一区二区三区 | www.日韩在线观看 | 张柏芝亚洲一区二区三区 | 日本五十肥熟交尾 | 久久久精品免费观看 | 大地资源二中文在线影视观看 | 爆操巨乳| 天天干天天草天天射 | 高清久久久 | www.午夜视频| 成人xx视频 | 午夜肉体高潮免费毛片 | 免费一二三区 | 草民午夜理伦三级 | 99爱在线视频 | 欧美高清免费 | www.在线播放 | 6699嫩草久久久精品影院 | 想要视频在线观看 | 美女扒开双腿 | 欧美第二页 | 久久久久性 | 国产h视频在线观看 | 中文字幕av久久爽一区 | 天天毛片 | 久久国产精品免费视频 | 久久久久免费观看 | 国产精品久久久久久亚洲色 | 亚洲h视频在线观看 | 永久免费成人代码 | 久久三级视频 | 亚洲自拍偷拍网站 | 亚洲草逼视频 | 久久影院在线观看 | 精品午夜久久 | 华丽的外出在线 | 国产亚洲在线观看 | 可以看的毛片 | 久久综合狠狠综合久久综合88 | 黄漫在线免费观看 | 黄色精品在线观看 | 欧美区一区二 | 国产一区二区在线看 | 日韩免费网站 | 乌克兰黄色片 | 日本黄色精品 | 人妻丰满熟妇av无码区hd | 福利视频一区 | 成人丁香婷婷 | 欧美一区二区三区不卡 | 久久精品一区 | 玉女心经在线看 | 欧美成在线视频 | 丝袜 亚洲 另类 欧美 重口 | 国产精品电影网站 | 日韩一区二区三区四区五区六区 | 在线不卡一区 | 草比网站| 欧日韩一区二区三区 | 欧美精品 在线观看 | 久青草视频在线观看 | 亚洲精品777 | 国产黄色高清视频 | 国产青草 | 色噜噜综合 | 伊人99热| 天天操天天插天天射 | 欧美熟妇精品一区二区蜜桃视频 | 天天操天天插天天射 | 欧美影院一区 | 风流少妇一区二区三区91 | 国产原创麻豆 | 色小说在线 | 日日拍拍| 国产精品天天狠天天看 | 337p亚洲精品色噜噜狠狠 | 日日夜夜免费精品 | 一级片黑人 | 女同黄色小说 | 深夜成人福利视频 | 中文字幕亚洲精品 | 在线观看成人网 | 色视频网| 黄污视频在线观看 | 91麻豆精品一二三区在线 | 免费看一级大片 | 成人免费视频国产免费 | 欧美精品久久久久久 | 日韩中文欧美 | 涩涩网站在线观看 | 草莓视频免费在线观看 | 精品人妻午夜一区二区三区四区 | 开心激情播播 | 伊人天堂av | 亚洲天堂av网站 | 精品久久网 | 欧美成人精品激情在线视频 | 久草网在线视频 | 日韩精品一区二区三区免费视频 | 都市激情一区 | 国产又粗又猛又爽又黄的 | 亚洲一区国产一区 | 成人免费黄 | 亚洲精品在线观看视频 | 久久久久久久精 | 国产精品探花一区二区在线观看 | 久久综合狠狠综合久久综合88 | 91视频污 | av大片在线 | 91色国产| 九九视屏| 日韩videos | 高清不卡毛片 | 免费一级大片 | 麻豆成人免费 | 欧美色妞网 | 能免费看av的网站 | 不卡在线播放 | 午夜精品久久久久久久爽 | 五月婷婷激情四射 | 先锋成人资源 | 一道本av | 国产一区二区毛片 | 五月开心网 | 国产呦小j女精品视频 | 亚洲啊v| 美女视频网址 | 国产伦精品一区 | 在线观看免费黄色 | 亚洲最新中文字幕 | 黑人极品ⅴideos精品欧美棵 | 深夜福利免费观看 | 日韩精品久久久久久久 | 另类日韩| 禁断介护老人中文字幕 | 91免费短视频 | 99精品视频在线 | 欧洲成人免费视频 | 成人在线综合 | 成年人精品 | 欧美日韩专区 | www.国产91| 精产国产伦理一二三区 | 在线h网站 | 久久精品9| 国产黄色高清视频 | 91成人免费视频 | 欧美一级成人 | 精品国内自产拍在线观看视频 | 成人精品三级av在线看 | 小嫩女直喷白浆 | 亚洲精品乱码久久久久 | 亚洲一区色| 污污内射久久一区二区欧美日韩 | 中文字幕自拍偷拍 | 91精品国产综合久久久蜜臀粉嫩 | 国精品一区 | 求av网址 | 日韩啊啊啊 | 影音先锋久久 | 久久精品9 | 日本亚洲在线 | 色哟哟精品 | 泰剧19禁啪啪无遮挡 | 欧美成人三区 | 精品无码久久久久 | 亚洲精品国产精品乱码不99按摩 | 精品国产123 | 成人黄色免费电影 | 欧美成人免费在线视频 | 玉女心经在线看 | 成人教育av | 欧美精品 在线观看 | 丁香婷婷久久久综合精品国产 | 精品久久免费 | 欧美资源在线 | 大香焦久久 | 看特级毛片 | 日本中文字幕视频 | 少妇高潮惨叫久久久久久 | 在线色av| 久草网在线视频 | 中文在线免费视频 | 成人免费黄色网 | 日韩美女网| 四虎成人精品永久免费av九九 | 青春草视频 | 依人在线 | 九九视频在线免费观看 | 国产日比视频 | 激情宗合网 | 日本中文字幕视频 | 91热热 | 美女一区二区三区四区 | 亚洲天堂av在线播放 | 91香蕉视频黄色 | 日韩三级 | 精品无码人妻一区二区三区品 | 亚洲熟妇色自偷自拍另类 | 污污网站在线 | 午夜精品电影 | 国产精品91久久 | 亚洲人天堂 | 日韩大尺度视频 | 在线观看亚洲国产 | 成人h在线观看 | 俄罗斯特级毛片 | 99在线视频精品 | 97播播| 天天干夜夜欢 | 国产亚洲色婷婷久久99精品91 | 综合色视频 | 黑夜传说1| 日本精品一区二区三区视频 | 可以免费看的av网站 | 日本福利在线观看 | 91久久国产综合久久91精品网站 | 高h喷水荡肉少妇爽多p视频 | 安装下载app | 美女xx网站 | 精品人妻午夜一区二区三区四区 | 暖暖日本在线视频 | 少妇被躁爽到高潮无码人狍大战 | 毛片三级| 五月天狠狠操 | www.黄色在线观看 | 青青草成人av | 国产首页 | 超碰人人干| 天天射天天射 | 精久久久久久久 | 国产乱码一区 | 大地二资源在线观看高清国语版 | 超碰伊人 | 在线高清观看免费观看 | 欧美又粗又大aaa片 亚洲欧洲视频 | 亚洲成年人影院 | 女m被s玩胸虐乳哭着求饶 | 天天干视频在线观看 | 一级做a视频| 国产一区精品在线观看 | 日韩五月天 | 波多野结衣中文字幕在线 | 一级片黄色 | 久久tv| 国产一区二区毛片 | 淫欲的美女理论电影完整版 | 在线97 | 黄页网站在线播放 | 亚洲欧美另类图片 | 亚洲精品自拍 | 黄污网 | 欧美日韩在线观看一区二区 | 手机在线观看毛片 | 强行糟蹋人妻hd中文 | 一区二区三区日韩欧美 | 亚洲黄色小说网 | 爱综合网| 双性人hdsexvideos | 日本一级一片免费视频 | 国产成人精品无码片区在线 | 六月综合| 亚洲精品97久久 | 午夜精品亚洲 | 婷婷av一区二区三区 | 欧美福利一区 | 婷婷精品在线 | 久久久久影视 | 原神女裸体看个够无遮挡 | 伊人影院av | 免费a级大片 | 乌克兰黄色片 | 亚洲av无码国产综合专区 | 成年人免费视频观看 | 欧美一卡二卡三卡 | 99婷婷| 人妻少妇偷人精品视频 | 国产三级在线观看视频 | 国产激情久久久久久熟女老人av | 无码人妻aⅴ一区二区三区玉蒲团 | 色七七视频 | 成人片免费视频 | 国产乱人 | 91久久精品日日躁夜夜躁欧美 | 日本精品一区二区三区视频 | 国产人妻精品一区二区三区不卡 | 韩国无码一区二区三区精品 | www.亚洲| 亚洲高清成人 | 熟妇熟女乱妇乱女网站 | 激情开心成人网 | 好吊操视频这里只有精品 | 国产又粗又大又硬 | 欧美亚洲另类小说 | 午夜精品一区二区三区在线视频 | 美女靠逼app | 女同vk| 麻豆av在线播放 | 国产成人a人亚洲精品无码 最近中文字幕av | 亚洲三级免费 | 天天操天天操天天操 | 俄罗斯特级毛片 | 97精品在线观看 | 大地资源二中文在线影视观看 | 99热这里只有精品在线观看 | 超碰97人人草| 日韩欧美一级片 | www.午夜视频 | 色悠悠视频| 风流少妇一区二区三区91 | 国产精品v欧美精品v日韩 | 欧美综合一区 | 日本一区精品 | 成人天堂噜噜噜 | 久久国产小视频 | 精品视频一区二区三区四区 | 蜜臀尤物一区二区三区直播 | 国产精品久久久久久亚洲色 | 少妇视频在线观看 | 免费观看av的网站 | 免费色网址 | 欧美高清hd18日本 | 中文字幕最新 | 成人片免费视频 | 免费三片在线观看网站v888 | 日韩欧美国产高清 | 美女视频在线播放 | 黄视频在线播放 | 欧美丝袜丝交足nylons | 日韩av无码一区二区三区 | 国产精品精品软件视频 | 国语对白一区 | 97人人爱| 性史性dvd影片农村毛片 | 超碰狠狠操 | 欧美福利一区 | 橹图极品美女无圣光 | 欧美日韩国产高清 | 日韩精品福利 | 青青草青青操 | 不良视频在线观看 | 91午夜影院 | 可以看的毛片 | 欧美黑人一级片 | 在线观看免费黄色 | 波多野结衣一区二区三区在线观看 | 风流少妇一区二区三区91 | 中文在线免费视频 | 91成人在线观看喷潮动漫 | 麻豆成人免费 | 日韩在线观看视频网站 | 欧美精品成人在线 | 日本激情小视频 | 伊人网免费视频 | 奶妈的诱惑 | 国产免费成人 | 欧洲精品一区二区三区 | 女女les互磨高潮国产精品 | 久久国产免费 | 国产成人在线免费观看视频 | 蜜桃精品视频在线 | 成人羞羞国产免费 | 日本福利在线观看 | 中文字幕亚洲区 | www.日韩在线观看 | 成人福利在线 | 日韩国产免费 | 欧美日韩亚洲二区 | 综合久久久久久久 | 欧美在线中文字幕 | 黄桃av| 中文字幕亚洲欧美日韩高清 | 特大黑人巨交吊性xxxx视频 | 日韩在线观看视频网站 | 一级黄色大片 | 樱桃av| www夜片内射视频日韩精品成人 | 最新日韩在线 | 91久久国产| a一级黄色 | 少妇高潮惨叫久久久久久 | 久久久久草 | 欧美色妞网 | 国产免费av电影 | 中国a级黄色片 | 免费三级av| 日韩人妻无码一区二区三区99 | 91久久国产综合久久91精品网站 | 激情网五月| 北条麻妃99精品青青久久 | 中国挤奶哺乳午夜片 | 1024手机在线看片 | 免费a级大片 | 国产一区二区在线看 | 双性人hdsexvideos | 亚洲午夜精品一区二区三区 | 亚洲手机在线观看 | 成年人免费视频观看 | 国产三级久久 | 中文字幕亚洲乱码熟女1区2区 | 国内视频精品 | 日一日射一射 | 性生活免费网站 | 国产片一区二区三区 | 久久国产亚洲 | 一区二区三区毛片 | 欧美大片高清免费观看 | 国产成人精品无码片区在线 | 综合久久久久久久 | 国产福利影院 | 成人福利在线 | 人人爽人人插 | 成人免费毛片男人用品 | 中文字幕av久久爽一区 | 欧美日韩在线观看一区二区 | 蜜乳av红桃嫩久久 | www.欧美在线 | 337p日本欧洲亚洲大胆张筱雨 | 丁香六月综合 | 亚洲精品白浆高清久久久久久 | 成人啪啪漫画羞羞漫画 | 懂色av一区二区三区免费观看 | www.香蕉| 校园春色综合网 | 蜜桃视频在线观看www | 超碰在线人人 | 欧美精品 在线观看 | 日本少妇色 | 欧美成人免费在线视频 | 操操干干 | 亚洲精品一二三 | 日韩精品五区 | 亚洲天堂一区二区三区 | 免费三片在线观看网站v888 | 国产精品久久久一区 | 欧美性猛交xxxx乱大交退制版 | 国产日比视频 | 操到喷水 | 国产精品久久 | 日本在线观看 | 黄色漫画免费观看 | ass亚洲肉体欣赏pics | av蜜臀网站| 北条麻妃av在线 | 很黄很污的网站 | 亚洲手机在线观看 | 老师让我她我爽了好久视频 | 中日韩男男gay无套 中文字幕8 | 亚洲青青草原 | 在线h网站 | 看特级毛片 | 亚洲色图自拍 | 国产成人中文字幕 | 国产精品第三页 | 大学生三级中国dvd 亚洲成人精品久久 | 国产熟女高潮一区二区三区 | 999国产精品视频 | 成年网站在线视频网站 | 一级黄色免费 | 国产一区二区在线免费 | 欧美字幕| 韩国三级与黑人 | 免费a视频在线观看 | 欧美爱爱网站 | 日本美女交配 | 亚洲国产无码精品 | 天天综合影院 | 神马久久精品 | 成人羞羞国产免费 | 欧美亚洲中文精品字幕 | 波多野吉衣一二三区乱码 | 青娱乐超碰在线 | 日本亚洲在线 | 亚洲激情网 | 天天干夜夜欢 | 青青青草视频在线观看 | 国产精品天天狠天天看 | 蜜桃av噜噜一区二区三区麻豆 | 沟厕沟厕近拍高清视频 | 丁香六月综合 | 娇小的粉嫩xxx极品 天天射天天射 | 日韩一区二 | 美女一区二区三区四区 | 91免费大片 | 日本精品视频在线播放 | 超碰美女 | 欧日韩一区二区三区 | 日本久久久久久久久久 | gogogo日本免费观看电视 | 久久久久久久久久网站 | 四虎影视库 | 9.1人网站| 色哟哟精品 | 国产成人精品无码片区在线 | 久久久精品免费观看 | 天天综合亚洲 | 亚洲国产精品无码久久久久高潮 | 黄桃av| 熟妇高潮一区二区三区 | 美女扒开尿口给男人桶 | 夜色资源网 | 免费看一级大片 | 久久综合社区 | 男女日批视频 | 九九综合久久 | 在线播放精品 | 激情小说亚洲图片 | 国产片一区二区三区 | 国产乱子伦精品视频 | 午夜精品久久久久久久久久 | 91精品视频在线播放 | 夜色资源网 | 日本少妇xxxxx| 亚洲女优在线观看 | www.久久| 在线欧美 | 阿娇全套94张未删图久久 | 国产7777| 国产成人在线观看免费网站 | 亚洲草逼视频 | 免费一级片视频 | 免费三片在线观看网站v888 | 欧美性猛交xxxx乱大交俱乐部 | 中文字幕亚洲精品 | 女同黄色小说 | 欧美性视屏 | 欧美一区二区三区不卡 | 色婷婷国产精品 | 国产在线看片 | 台湾黄色网址 | 欧美成人免费在线视频 | 欧美一区二区三区不卡 | 国产美女视频免费观看下载软件 | 女女百合国产免费网站 | 日韩少妇 | 久久精品一 | 日本黄色精品 | 成人污视频在线观看 | 看片网站在线观看 | 一级黄色免费 | 总裁憋尿呻吟双腿大开憋尿 | 日韩av无码一区二区三区 | 欧美精品成人在线 | 农村妇女毛片 | 日本中文字幕视频 | 1024手机在线看片 | 99爱在线 | 丰满少妇在线观看 | 欧美黄在线 | 亚洲综合中文字幕在线 | 无码人妻aⅴ一区二区三区玉蒲团 | 国产精品一级 | 强睡邻居人妻中文字幕 | 欧美成人免费在线视频 | 国产精品99视频 | 欧美成人免费在线视频 | 青青草激情视频 | 成人福利在线 | av中文网站| 日韩av一区在线 | 免费成人av片| 久久精品噜噜噜成人 | 性史性dvd影片农村毛片 | 成人av网站在线 | 国产一极片| 久久av一区| 视频一区在线播放 | 张柏芝亚洲一区二区三区 | 日本黄色xxx | 99久久久无码国产精品免费蜜柚 | 夜夜草导航| 亚洲国产精品免费 | 91天天| 国产在线小视频 | 欧洲成人av | 午夜在线观看视频 | 日韩精品免费一区二区夜夜嗨 | 日韩一区二区三区四区在线 | 色综合网址 | 好吊一区二区三区 | 97看片| 在线观看成人网 | 年代下乡啪啪h文 | 天天干天天草天天射 | 午夜精品一区二区三区在线视频 | 麻豆精品一区二区 | 欧美一区二区三区不卡 | 成人片免费视频 | 色综合中文字幕 | 熟女人妻aⅴ一区二区三区60路 | 6699嫩草久久久精品影院 | 国产精品探花一区二区在线观看 | 人妻少妇偷人精品视频 | 亚洲欧美日本一区 | 女女les互磨高潮国产精品 | www.亚洲 | 麻豆成人在线 | 灌篮高手全国大赛电影 | 亚洲精品777| 亚洲综合中文字幕在线 | 日本一级一片免费视频 | 91精品国产91久久久久久黑人 | 亚洲视频国产精品 | 午夜视频免费看 | 欧美二区在线观看 | 伊人影院av | 亚洲欧美在线看 | 黄视频在线播放 | 精品国内自产拍在线观看视频 | 日韩精品第二页 | 精品人妻午夜一区二区三区四区 | 日本黄色xxx | 亚洲综合久久久 | 懂色av蜜臀av粉嫩av分享 | 在线看片你懂得 | 免费网站观看www在线观 | 国产青草 | 精品国产不卡 | 91嫩草在线 | av中文网 | 福利免费视频 | 二区三区视频 | 伊人国产在线 | 永久免费成人代码 | 樱桃香蕉视频 | 五月天久久久久久 | 亚洲黄色三级 | 暖暖日本在线视频 | 色情毛片 | 欧美一级生活片 | 97看片吧 | 精品无码免费视频 | 日本亚洲色大成网站www久久 | 日韩一区二区三区四区五区六区 | 日本久色 | 日批国产| 国产大片b站 | 中文字幕观看 | 色婷婷在线影院 | 国产精品久久久久久亚洲色 | 火影忍者羞羞漫画 | 超碰在线国产 | 波多野吉衣一二三区乱码 | 九一精品视频 | 日本国产一区二区三区 | 精产国产伦理一二三区 | 污视频网站免费看 | 欧美激情性做爰免费视频 | 丁香六月综合 | 色噜噜狠狠狠综合曰曰曰 | 人人妻人人澡人人爽精品日本 | 欧美亚洲国产一区二区三区 | 欧美高清hd18日本 | 橹图极品美女无圣光 | 亚洲手机在线观看 | 成人免费毛片男人用品 | 毛片官网| 男女网站免费 | 自拍偷拍第五页 | 沟厕沟厕近拍高清视频 | 亚洲成年人 | 日韩免费| 成人自拍av | 91人妻一区二区 | 波多在线观看 | av在线播放中文字幕 | 日韩中文一区 | 超碰人人干 | 少妇扒开粉嫩小泬视频 | 艳母日本动漫在线观看 | 肉丝av| 91快射| a在线观看 | 91久久国产 | 一区二区三区欧美视频 | 欧美一级爱爱 | 精品无码久久久久 | gogogo日本免费观看电视 | 日本在线视频中文字幕 | 久久国产小视频 | 91黄色免费视频 | www.夜夜骑| 欧美片网站免费 | 天堂av在线资源 | 国产乱码精品一区二区三区中文 | 亚洲国产无码精品 | 天堂在线一区 | 成年女人免费视频 | 麻豆国产精品一区 | 91精品国产91久久久久久黑人 | 熟睡侵犯の奶水授乳在线 | 日韩啊啊啊 | 青娱乐超碰在线 | 黑人性高潮 | 丁香六月激情 | 丰满少妇在线观看 | 亚洲特级毛片 | 国产精品白丝喷水在线观看 | 成人国产网站 | av片在线观看免费 | 超污视频网站 | www.欧美在线 | 国产中文字幕在线播放 | 天天草夜夜操 | 91久久久久久久久久久 | 日本黄色大片免费 | 日本美女一区二区 | 男女福利视频 | 欧美一级成人 | 国产在线小视频 | 青青导航 | 日韩欧美国产高清 | 国产亚洲一区二区三区在线观看 | 极度诱惑香港电影完整 | 男女网站免费 | 91久久精品日日躁夜夜躁欧美 | 欧美骚少妇 | 亚洲欧洲日本在线 | 欧美九九 | av大片在线 | www夜片内射视频日韩精品成人 | 精品人妻午夜一区二区三区四区 | 中文字幕在线免费看 | 日本中文字幕一区 | 秋霞午夜 | 九九视频在线免费观看 | 欧美一级生活片 | 不良视频在线观看 | 色婷婷一区 | 欧美夜夜| 久久亚洲一区二区 | 三级黄色免费 | 青青草日本 | 欧洲激情网| 国产69av| 日本一级淫片色费放 | 免费av网站观看 | 九九视频在线播放 | 污污内射久久一区二区欧美日韩 | 日本精品在线播放 | 欧美日韩精品久久久 | 日韩欧美一级 | 91手机在线 | 精品无码久久久久久久久 | 国产二区电影 | 国产中文字幕一区 | 国产呦系列 | 少妇全黄性生交片 | 国产精品女优 | 欧美性生活一区二区 | 婷婷免费 | 精品人妻无码中文字幕18禁 | 日韩影音 | 善良的女朋友在线观看 | 午夜精品一区二区三区在线视频 | 国产一区二区视频在线 | 五月婷婷开心中文字幕 | 国内视频精品 | 亚洲天堂一区二区三区 | 二十四小时在线更新观看 | 亚洲精品白浆高清久久久久久 | 成人综合色站 | 国产黄色录像 | 男女视频免费 | 国产人妻精品一区二区三区不卡 | 亚洲三级精品 | 精品欧美在线 | 成人黄网免费观看视频 | 久久99亚洲精品 | 熟妇高潮一区二区三区 | 少妇av一区 | 日本精品一区二区三区视频 | 人妻一区二区在线 | 一级色网站 | 秋霞av鲁丝片一区二区 | 欧美亚洲国产一区二区三区 | 久久久久久国产精品 | 久草久热 | 绿帽视频 | 中文字幕亚洲欧美日韩高清 | 在线观看三级电影 | 人妻熟女一区 | 91色站 | 国产精品精品国产 | 91嫩草视频在线观看 | 亚洲一区二区三区免费视频 | 日韩五码 | 亚洲国产一区在线观看 | 都市激情一区 | 亚洲美女一区二区三区 | 国产无套精品一区二区三区 | 性视频免费 | 亚洲综合小说 | 青娱乐超碰在线 | 国产乱人 | 国产成人在线观看免费网站 | 青青草青青操 | 激情视频一区 | 艳母日本动漫在线观看 | 禁断介护老人中文字幕 | 香蕉福利 | 一区二区三区日韩欧美 | 欧美性生活一区二区 | www.香蕉| 国产亚洲精品女人久久久久久 | 欧美日韩一区二区三 | 色婷婷777777仙踪林 | 爱情岛亚洲论坛入口福利 | 色婷婷av一区二区三区之红樱桃 | 91在线观看视频 | 午夜久久久久久久久久 | 欧美jizz欧美性大全 | 少妇扒开粉嫩小泬视频 | 在线高清观看免费观看 | 五月天久久久久久 | 国产一区二区欧美 | 在线高清观看免费观看 | 日日夜夜影院 | 国产成人a人亚洲精品无码 最近中文字幕av | 樱桃av| 秋霞午夜 | 欧美精品videos另类 | 91精品国产成人观看 | 亚洲黄色在线观看 | 91久久精品一区二区 | 日本一级一片免费视频 | 亚洲第一男人天堂 | 国产精品精品国产 | 亚洲一区二区三区免费视频 | 超污视频网站 | 欧美午夜在线 | 色愁久久 | 自拍偷拍专区 | 啪啪网站免费看 | 四虎影库在线播放 | 国产成人高清在线 | 精品欧美在线 | 天天摸夜夜添狠狠添婷婷 | 牛牛电影国产一区二区 | 免费看黄色a级片 | 五月天久久久久久 | 在线观看亚洲国产 | 奇米色777 | 欧美脚交 | 精品无码久久久久 | 四虎影视库 | 国产精品久久国产精麻豆96堂 | 久久久99精品免费观看 | 久久免费播放 | 老年人毛片 | 美国免费高清电影在线观看 | 青娱乐超碰在线 | 97人妻精品一区二区三区免 | 夜色资源网 | 西西人体大胆4444www | 久久影片| 在线不卡中文字幕 | 大地二资源在线观看高清国语版 | 大陆熟妇丰满多毛xxxⅹ | 黄色一级图片 | 欧美伦乱 | 午夜国产片 | 性色av蜜臀av浪潮av老女人 | 中国一级黄色 | 国产日韩欧美中文字幕 | 日韩美女网| 91精品国产91久久久久久黑人 | 泰剧19禁啪啪无遮挡 | 日本精品在线播放 | 又黄又色 | 午夜免费观看视频 | 一级大片视频 | 亚洲男同视频 | 九九视频在线播放 | 欧美又粗又大aaa片 亚洲欧洲视频 | 国产又粗又大又硬 | 亚洲国产一区在线观看 | 成人黄色录像 | 都市激情 亚洲 | 男人操女人网站 | 极度诱惑香港电影完整 | 欧美成在线| 涩人阁| 国产片91 | 亚洲av无码乱码国产精品久久 | 91麻豆精品国产91久久久久久 | 韩国一区二区三区在线观看 | 超碰在线国产 | 殴美一级黄色片 | 久草网址 | 国产亚洲一区二区三区在线观看 | 污污内射久久一区二区欧美日韩 | 成人做爰视频www | 欧美黑人xxxx | 亚洲区一区二区三区 | 色婷婷av一区二区三区之红樱桃 | 亚洲精品国产精品乱码不99按摩 | 超碰在线国产 | 69精品无码成人久久久久久 | 婷婷开心激情网 | 人妖一区 | 亚洲特级毛片 | 视频在线观看免费大片 | 综合激情久久 | 少妇扒开粉嫩小泬视频 | 丁香婷婷久久久综合精品国产 | www.在线播放 | 久久久99精品免费观看 | 日本乳汁视频 | 丁香婷婷久久久综合精品国产 | 美女爆乳18禁www久久久久久 | 精品影院 | 免费看黄色a级片 | 精品国产乱码久久久久久郑州公司 | 中文天堂网| 国产在线高清 | 风流少妇一区二区三区91 | 精品日韩在线观看 | 五月婷婷中文 | 瑟瑟在线观看 | 免费三级av | 中文天堂网 | 午夜精品一区二区三区在线视频 | 国产成人a人亚洲精品无码 最近中文字幕av | 日韩午夜一区 | 大香焦久久 | 国产精品欧美在线 | 国产视频大全 | www.亚洲国产 | 成人精品在线视频 | 米奇影视777 | 黄色片网站在线观看 | 日韩有码第一页 | 成年人免费视频观看 | 日韩黄色免费观看 | 碧蓝之海动漫在线观看免费高清 | 欧美婷婷 | 一区二区av在线 | 综合导航| 国产视频黄| 欧美色激情 | 91精品国产成人观看 | 亚洲精品v | 天天干视频在线观看 | 天天视频入口 | 456亚洲影院| 午夜国产精品视频 | 成年人一级片 | 免费av网站观看 | 特级av片 | 国产视频一区二区在线观看 | 91精品国产91久久久久久黑人 | 日韩美女网 | 7777奇米影视 | 人人澡人人看 | 国产黄色录像 | 久久久久久久久久网站 | 日韩人妻无码一区二区三区99 | 无码人妻aⅴ一区二区三区玉蒲团 | 乌克兰黄色片 | 色悠悠视频 | 国产亚洲精品女人久久久久久 | 暖暖日本在线视频 | 欧美爱爱网站 | 老师让我她我爽了好久视频 | 蜜桃视频在线观看www | 操到喷水| 国产一区免费 | 亚洲自拍偷拍网站 | 色噜噜狠狠狠综合曰曰曰 | 精产国产伦理一二三区 | 影音先锋毛片 | 熟睡侵犯の奶水授乳在线 | 久久国产亚洲 | 一区二区av在线 | 40到50岁中老年妇女毛片 | 大陆熟妇丰满多毛xxxⅹ | 久久国产精品久久久 | 久久久91 | 亚洲国产成人精品女人久久久 | 熟妇高潮一区二区三区 | 在线观看三级电影 | 国产乱人 | 99久久99久久精品国产片果冻 | 97在线公开视频 | 91精品国产综合久久久蜜臀粉嫩 | 91免费视频| 91久久久久久久久久久 | 国产美女自慰在线观看 | 快播黄色电影 | 天天干天天干天天干 | 最新国产露脸在线观看 | 熟妇熟女乱妇乱女网站 | 欧美高清一区 | 日本一级淫片色费放 | 爱吃波客今天最新视频 | 欧美色妞网| 精品国产欧美一区二区三区成人 | 女人洗澡一级特黄毛片 | 欧美在线中文字幕 | 精品无码久久久久久久久 | 三上悠亚 在线观看 | 96视频在线 | 久久在线看 | 伊人久久久久久久久久 | 午夜精品久久久久久久久久 | 日韩美女网 | 成人免费黄 | 日韩爱爱网 | 精品久久免费 | 欧美黑人一级片 | 你懂得在线观看 | 西西44rtwww国产精品 | 国产一区二区毛片 | 97人人爱| 岛国av大片 | av不卡网站| 灌篮高手全国大赛电影 | 熟妇高潮一区二区三区 | 女同vk| 91成人在线免费视频 | 色噜噜在线观看 | p站在线观看 | 岛国av大片 | 日韩五码 | 免费一级毛片麻豆精品 | av中文天堂 | 超污视频网站 | 日韩一区二区三区四区在线 | 猫咪av在线 | 久久久888 | 久久av电影 | 午夜色福利 | 亚洲熟妇无码久久精品 | www夜片内射视频日韩精品成人 | av在线播放网站 | 中文字幕三区 | 两女双腿交缠激烈磨豆腐 | 亚洲色图自拍 | 久久久久噜噜噜亚洲熟女综合 | 神马影院午夜伦理 | 亚洲天堂一区二区三区 | 国产精品入口麻豆 | 超碰人人超碰 | 亚洲天堂午夜 | 嫩草在线 | 中文字幕女同女同女同 | 精久久久久久久 | 色婷婷777777仙踪林 | 国产又爽又黄视频 | 白又丰满大屁股bbbbb | 日本伊人久久 | 欧美熟妇精品一区二区蜜桃视频 | 亚洲三级精品 | 91麻豆精品一二三区在线 | 国产精品sm | 成人自拍av | 欧美综合一区二区三区 | 亚洲av无码乱码国产精品久久 | 91久久国产综合久久91精品网站 | 日本少妇色 | 完美搭档在线观看 | 超碰青青操 | 精品视频一区二区三区四区 | 欧美日韩亚洲二区 | 久草99 | 国产超级av| 欧美成在线| 激情视频一区 | 中文字幕首页 | 无码人妻久久一区二区三区 | www.午夜视频 | 年代下乡啪啪h文 | 波多野吉衣一二三区乱码 | 欧美一级少妇 | 9色在线 | 西西444www无码大胆 | 亚洲综合小说 | 欧美亚洲中文精品字幕 | 欧美资源在线 | 日日骚影院 | 狠狠操天天操 | 欧美mv日韩mv国产网站app | 国精品一区 | 成人在线视频观看 | 97播播| 黄视频在线播放 | 丰满少妇在线观看 | 精品久久二区 | 国产免费成人 | 国产成人毛片 | 中日韩中文字幕 | 欧美性猛交xxxx乱大交退制版 | 91精品网 | 亚洲美女一区二区三区 | 无码人妻aⅴ一区二区三区玉蒲团 | 青青视频在线免费观看 | 亚洲一区二区欧美 | 动漫美女被到爽 | 91色国产 | 亚洲深夜视频 | 黄页网站在线播放 | 四虎精品一区二区三区 | 亚洲最新网址 | 香蕉视频免费看 | 玉女心经在线看 | 97播播| 少妇扒开粉嫩小泬视频 | 深夜视频18 | 天堂网av在线 | 成人黄色录像 | 碧蓝之海动漫在线观看免费高清 | 久草久热 | 日本黄色xxx| 日韩精品无码一区二区三区久久久 | 日本中文字幕免费 | 中国极品少妇xxxx做受 | 开心激情播播 | 一级免费黄色片 | 亚洲三级免费 | 欧美第二页 | 欧美日韩国产高清 | 黄色1级视频 | 日韩av一区二区三区在线观看 | 高清日韩| 亚洲天堂av在线播放 | 成人午夜淫片免费观看 | 自拍第一页| 久久黄色大片 | 国产免费久久 | 国产亚洲精品女人久久久久久 | 草民午夜理伦三级 | 久久av电影 | 91久久精品日日躁夜夜躁欧美 | 人人妻人人澡人人爽精品日本 | 2019毛片| 不卡在线播放 | 99激情网| 久久国产小视频 | 国产中文字幕在线播放 | 成人在线视频观看 | 日韩一页 | av老女人 | 麻豆视频在线观看 | 亚洲综合久久久 | 天天干天天草天天射 | 男18无遮挡脱了内裤 | 国产又粗又猛视频免费 | 国产成人a v | 中文字幕三区 | 成人性生交大片免费 | 国产一区二区中文字幕 | 91免费短视频 | 中文字幕亚洲精品 | 成年网站在线视频网站 | 蜜乳av红桃嫩久久 | 日韩经典一区二区 | 婷婷五月综合久久中文字幕 | 中文字字幕在线中文乱码电影 | 亚洲免费三级 | 黑人极品ⅴideos精品欧美棵 | 久热只有精品 | 冲田杏梨 在线 | 二区三区视频 | 夜夜摸夜夜操 | 亚洲男同视频 | 熟女一区二区三区四区 | 在线看福利影 | 亚洲av毛片 | 精品日韩在线观看 | 免费在线一区二区三区 | 99er这里只有精品 | 日韩人妻无码一区二区三区99 | 中文字幕8| 亚洲国产成人精品女人久久久 | 在线观看xxxx| 亚洲一区二区欧美 | 爱综合网 | 亚洲色成人www永久网站 | 青娱乐超碰在线 | 大学生三级中国dvd 亚洲成人精品久久 | 久久久久9999 | 国产乱子伦精品视频 | 国产精品99视频 | 在线高清观看免费 | 成人看片泡妞 | 51 吃瓜网| 亚洲最大av在线 | 日韩一区二区三区四区在线 | 美女爆乳18禁www久久久久久 | 少妇被躁爽到高潮无码人狍大战 | 国产又爽又黄视频 | 午夜久久久久久久久久 | 福利电影网 | 波多野结衣av无码 | 黄色免费网站在线观看 | 老师让我她我爽了好久视频 | 午夜色图| 黄页网站在线播放 | 神马午夜国产 | 天天天天干 | 国产激情久久久久久熟女老人av | 五月婷婷小说 | 亚洲综合一区二区三区 | 色婷婷小说 | 97精产国品一二三产区 | 欧美资源在线 | 乱色视频 | 日韩人妻无码一区二区三区99 | www午夜 | 久热在线 | 国产美女网站 | 国产精品免费一区二区三区 | 国产片一区二区三区 | 日韩精品一区二区三区免费视频 | 国产黄色录像 | 中国精品毛片 | 少妇69xx| 日韩国产欧美一区二区 | av影片在线播放 | 老年人毛片 | 欧美福利一区 | 秘密基地动漫在线观看免费 | 欧美日韩在线观看一区二区 | 看免费毛片 | 猫咪av在线 | 91天天| 91超碰免费在线 | 日韩欧美一级片 | 久久久久久久久久网站 | 欧美在线免费观看视频 | 欧美激情自拍偷拍 | 女人洗澡一级特黄毛片 | 婷婷久久久久久 | 免费爱爱视频网站 | 国产中文字幕一区 | 成人91视频 | 欧美成人精品激情在线视频 | 91色国产 | 日韩精品第二页 | 亚洲手机在线观看 | 张柏芝亚洲一区二区三区 | 亚洲青青草原 | 深夜成人福利视频 | 午夜国产精品视频 | 欧美精品成人在线 | 国产美女自慰在线观看 | 国产无遮挡裸体免费视频 | 欧美20p| 成年人毛片 | 两女双腿交缠激烈磨豆腐 | 欧美性猛交xxxx乱大交退制版 | 亚洲免费三级 | 精品国产欧美一区二区三区成人 | 国产精品高清无码在线观看 | 午夜在线网站 | 激情五月婷婷 | 少妇高潮惨叫久久久久久 | 一本一道久久a久久精品蜜桃 | 国精品一区 | 韩国一区二区在线观看 | 视频在线观看免费大片 | 日日夜夜爽爽 | 午夜免费小视频 | 草比网站| 黄色片www| 欧美老熟妇xb水多毛多 | www.一区二区| 青青草国产成人99久久 | 黄桃av| 欧美黄在线 | 波多野结衣一区二区三区在线观看 | 超碰伊人 | 黄色片网站在线观看 | 91久久国产综合久久91精品网站 | 可以免费看的av网站 | 日日夜夜影院 | 日本少妇xxxxx | 特黄aaaaaaaaa真人毛片 | 调教在线观看 | 猫咪av在线| 久久亚洲电影 | 97人妻精品一区二区三区免 | 国产卡一卡二 | 日本高清视频在线 | 欧美日韩性视频 | 欧美精品 在线观看 | 你懂得在线观看 | 国产亚洲一区二区三区在线观看 | 日日夜夜免费精品 | 特黄aaaaaaaaa毛片免费视频 | 欧美mv日韩mv国产网站app | 国产亚洲一区二区三区在线观看 | 91嫩草视频在线观看 | 老师让我她我爽了好久视频 | av老女人| 香蕉视频黄色 | 亚洲精品97久久 | 天天综合影院 | 日韩av一二三 | 91天堂| 日批国产 | 99精品视频在线 | 色婷婷av一区二区三区之红樱桃 | 欧美私人影院 | 国产精品视频在线观看 | 秘密基地动漫在线观看免费 | 怡红院av| 成人免费黄| 草久影院 | 成年人毛片 | 1024国产精品 | 欧洲成人av| 欧美成人激情视频 | 韩国三级hd中文字幕 | 黄色片网站在线观看 | 国内精品久久久久久 | 国产青青青 | 亚洲精品v | 四虎成人精品永久免费av九九 | 最近中文字幕av | 蜜桃视频在线观看www | 精品伦精品一区二区三区视频密桃 | 国产精品探花一区二区在线观看 | 欧美高清一区 | 污片视频在线观看 | 狠狠操在线观看 | 99热网址 | 国产在线无码精品 | 国产激情网址 | 久久精选| 打屁股调教视频 | 91精品国产aⅴ一区二区 | 亚洲国产精品无码久久久久高潮 | 成年人视频网 | 免费观看av的网站 | p站在线观看 | 五月婷婷中文 | 日韩一级黄色大片 | 中文字幕电影 | 福利电影网 | 天天操天天插天天射 | 成人天堂噜噜噜 | 中文在线免费视频 | 在线视频 日韩 | 午夜免费观看视频 | 免费一级毛片麻豆精品 | 亚洲深夜视频 | 超碰人人干 | 久久在线看 | 色婷婷伊人 | 日本国产一区二区三区 | 成人黄网免费观看视频 | 51国产视频 | 奇米影视在线播放 | 另类日韩 | 青青91 | 亚洲综合中文字幕在线 | ass亚洲肉体欣赏pics | 天天摸天天爽 | 亚洲色图19p | 日本三级视频在线观看 | 日本伊人久久 | 久久综合99 | 国产午夜在线视频 | 欧美69久成人做爰视频 | 中国男女全黄大片 | 中文字幕女同女同女同 | 视频在线观看免费大片 | 大地二资源在线观看高清国语版 | 三浦理惠子av在线播放 | 高h喷水荡肉少妇爽多p视频 | 欧美69久成人做爰视频 | 伊人网免费视频 | 99热免费在线观看 | 国产卡一卡二 | 夜夜摸夜夜操 | 欧美日韩中文字幕一区二区 | av大片在线 | 手机在线免费看av | 日本在线三级 | 911精品国产一区二区在线 | av中文网站| 张柏芝亚洲一区二区三区 | 99久久99久久精品国产片果冻 | 久久看看 | 午夜免费播放观看在线视频 | 欧美性视屏 | 成人片免费视频 | 女人洗澡一级特黄毛片 | 欧美老熟妇xb水多毛多 | 丰满的女邻居 | 柠檬福利第一导航在线 | 手机在线免费看av | 蜜臀尤物一区二区三区直播 | 日韩和欧美的一区二区 | 免费看欧美大片 | 黑丝啪啪 | 超碰在线免费 | 蜜桃成人网 | 九九九九精品九九九九 | 国产人妻精品一区二区三区不卡 | 91久久精品一区二区 | 熟妇熟女乱妇乱女网站 | 国产一区二区av | 嘛豆视频 | 久草久热 | 婷婷免费 | 91黄色片| 国产又粗又大又爽视频 | 夜夜草导航 | 老司机午夜电影 | 中文字幕一区二区人妻电影 | 午夜色图 | 波多野结衣中文字幕在线 | 成人hd| 91视频污 | 熟妇熟女乱妇乱女网站 | 深夜成人福利视频 | 2019中文字幕在线观看 | 午夜免费播放观看在线视频 | 色婷婷777777仙踪林 | 国产人妻精品一区二区三区不卡 | 五月婷婷六月色 | 永久免费在线 | 9.1人网站 | 超碰97人人爱 | 中文字幕女同女同女同 | 91在线观看视频 | 可以看的毛片 | 精品人妻午夜一区二区三区四区 | 国产乱人 | 欧美成在线 | 免费网站观看www在线观 | 午夜激情免费视频 | 色悠悠视频 | 久草青青草 | 美女一区二区三区四区 | 超碰在线免费 | 欧美综合激情网 | 精产国产伦理一二三区 | 国产激情网址 | 欧美精品中文 | 日韩中文欧美 | 欧美做受xxxxxⅹ性视频 | 99热这里只有精品在线观看 |